[go: up one dir, main page]

WO2008095624A1 - Procédé pour initialiser un dispositif de poursuite d'un visage d'une personne - Google Patents

Procédé pour initialiser un dispositif de poursuite d'un visage d'une personne Download PDF

Info

Publication number
WO2008095624A1
WO2008095624A1 PCT/EP2008/000630 EP2008000630W WO2008095624A1 WO 2008095624 A1 WO2008095624 A1 WO 2008095624A1 EP 2008000630 W EP2008000630 W EP 2008000630W WO 2008095624 A1 WO2008095624 A1 WO 2008095624A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
symbolic
face
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2008/000630
Other languages
English (en)
Inventor
Bertrand Godreau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive France SAS
Original Assignee
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive France SAS filed Critical Continental Automotive France SAS
Publication of WO2008095624A1 publication Critical patent/WO2008095624A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention belongs to the field of monitoring the vigilance of a person and its areas of interest during an activity such as driving a vehicle. More particularly, the invention relates to a method for initializing a device for tracking the position and / or movements of a face in a sequence of images.
  • one method is to observe the face of this person by means of a camera delivering images whose analysis can identify movements such as those of the head , eyes and eyelids and to deduce the direction towards which the filmed person looks and with what attention.
  • a known method for tracking the movements of the face consists, in an initialization step, of constructing a two-dimensional representation of the face of the person filmed, called the specific 2D model of the face, and then, in a tracking step, to follow the movements and deformations of this 2D representation to deduce the information sought on the position and orientation of the person's face.
  • a known method consists, as illustrated in FIG. 1, in:
  • the outcome of an initialization phase turns out to depend in large part on the sensitivity of the methods used to identify the symbolic points in the images, a sensitivity that corresponds to a compromise between, on the one hand, the duration and the quantity calculations necessary to identify a symbolic point sought and secondly the risk of a bad detection in which a point is wrongly identified as a symbolic point sought.
  • the present invention specifically aims at a method of tracking a face implementing an initialization method which accelerates the initialization phase without affecting the quality of the initialization and which allows to start the tracking phase while the initialization phase is not fully completed.
  • pre-defined PS symbolic points of the face are identified on an image of the face; b) an image of reduced size associated with each identified symbolic point, called a thumbnail, is extracted from the image of the face; c) a two-dimensional model of the pursued face, called specific 2D model, is made from the positions of the detected symbolic points; and, when during the initialization step only a part of the symbolic points PS is identified on a first image of a sequence, d) the identified symbolic points and the associated thumbnails extracted from said first image are stored; e) the undetected symbolic points are searched on successive images of the sequence; f) each symbolic point detected in an image of the sequence is, at least for the symbolic points not yet detected, stored as well as the thumbnail corresponding to said point extracted from said image of the sequence; g) the initialization step is considered complete only when each symbolic point PS has been identified at least once on an image of the sequence.
  • all PS symbolic points are searched in each analyzed image of the sequence; i) when a symbolic point is detected in an image being analyzed, said current image, a score representative of the quality of the identification of the point as a symbolic point is attributed to said point of said image, and; j) when a symbolic point is identified in the current image and has also been identified in a previous image of the sequence: j1) its score in the current image is compared with a stored score obtained in a previous image for said point; j2) the memorized image corresponding to said symbolic point during detection of said point in the previous image:
  • the thumbnails stored during the initialization are not all extracted from the same image of the face
  • the thumbnails of the different symbolic points are aligned on an image of the sequence, when each symbolic point PS has been identified. at least once in different footage of the sequence, using a generic two-dimensional geometric face pattern.
  • At least six symbolic points are sought, corresponding to the outer and inner corners of the eyes and the left and right angles of the mouth of the face.
  • the invention also relates to any device for tracking a face using a two-dimensional face model comprising such an initialization phase.
  • the memorization of the symbolic points PS and the images being made on the fly on each new image, the tracking phase is advantageously started before the end of the initialization phase, especially when at least two PS symbolic points have been identified.
  • FIG. 1 a schematic view of the steps of a known initialization process already mentioned
  • Figure 2 an illustration of a sequence of image of a face and identification of symbolic points
  • FIG. 3 a schematic view of the steps of the initialization method according to the invention.
  • a method of initializing a face tracking device of a person according to the invention consists in identifying a series of p particular predetermined points, called PS symbolic points, on images of a face 1, to be associated with each one. of these p symbolic points a thumbnail corresponding to a fraction of the image around the corresponding symbolic point and to build from these points a specific 2D model of the face whose movements must be followed.
  • These symbolic points are chosen from identifiable image points, called natural points, which correspond to points of convergence of lines separating contrasting areas of the image.
  • the device comprises image acquisition means, in particular at least one video camera and image memories, able to deliver successive images constituting a sequence il, i2 ... if, as illustrated in FIG. 2.
  • the first image of the sequence is an image iO, and the first image taken into account in the initialization process is identified by the index il.
  • the images of a sequence succeed each other with a frequency of the order of ten hertz or a few tens of hertz.
  • the thumbnails corresponding to each symbolic point are extracted from the image and a specific 2D model of the face is determined from the relative position of the symbolic points.
  • the initialization phase is in this situation considered complete.
  • the PS symbolic points will not be extracted from the image iO, especially if the search for symbolic points is very discriminating and / or the means used to generate these images are of limited performance, for example. example of low resolution video cameras such as those implemented in low cost devices. If no symbolic point is identified on the image iO, the process of searching for the symbolic points is repeated with the successive successive images until at least one symbolic point PS (j) is effectively identified.
  • S-PSG score (O, the use of which is described later, is assigned 23 to said symbolic point PS (j) identified on said index image i according to criteria representative of a quality of the identification of the point. For example, characteristic values of the image around the point, such as contrast gradients, are compared with typical values of known symbolic points and the score assigned is even higher than the values associated with the point considered are close to typical values.
  • a thumbnail is extracted from the index image i and is associated with said symbolic point.
  • the positions, scores and thumbnails of the detected points are stored.
  • the ROC point is identified firstly on an image 11 and an S-ROC score (M) is associated with this point of the said image from which is extracted the image 11 of ROC.
  • S-ROC score M
  • the thumbnails are symbolized by a rectangle in which is inscribed the index of the image from which has been extracted said thumbnail.
  • the symbolic points PSQ are again searched on a next image of the sequence until an image i2 on which symbolic points are detected.
  • a score is assigned to each identified symbolic point and a thumbnail is, if necessary, extracted from the image for each symbolic point identified on the image i2.
  • the LOC and LMC points for the image i2 of FIG. 2 are as previously described, each associated with a score and a thumbnail extracted from the image being analyzed.
  • the process just described is repeated iteratively with the successive images of the sequence up to an image of rank if for which all the searched symbolic points have been identified at least once and associated thumbnails are stored. , even if no image of the analyzed sequence was able to allow on its own the identification of all these symbolic points.
  • thumbnails associated with the symbolic points are of better quality insofar as, extracted from images that may be different, for each symbolic point the most representative image of the point considered is stored among all the possible thumbnails of the images of the sequence for this symbolic point.
  • this registration of the positions is carried out by using a generic 2D model of face 7 and a filtering which makes it possible to reconstitute the 2D model specific to the treated face.
  • the initialization phase is then considered complete.
  • the method makes it possible to obtain a rapid and yet high quality initialization, pledge of a subsequent successful performance and quality, by the implementation of highly discriminating symbolic determination methods, methods of determination that would not have been possible. allowed to achieve initialization in an acceptable duration by conventional initialization methods.
  • the tracking phase is started before the end of the initialization phase. Indeed it is theoretically possible to carry out a continuation on the basis of a 2D model of face as soon as at least two points are identified.
  • the tracking phase is therefore advantageously started before all the symbolic points have been detected, therefore before the end of the initialization phase.
  • the tracking phase is started as soon as at least two symbolic points have been detected.
  • results of the tracking phase in particular information of the estimated position of the face having an influence on the position of the symbolic points in the image, for example the inclination of the face, are used to improve the search performance of other symbolic points of the image that have not yet been detected by the current initialization process.
  • the proposed method makes it possible to substantially accelerate the initialization process of a device for tracking a face and the quality of the initialization.
  • the method advantageously applies to any tracking device based on the reconstruction of a two-dimensional model of the image of a face to be continued.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

Pour suivre les mouvements d'un visage en utilisant un procédé basé sur la reconstruction d'un modèle 2D, un procédé d'initialisation comporte une recherche de points symboliques sur des images successives du visage formant une séquence d'images. Chaque point symbolique détecté sur une image courante est mémorisé ainsi que son imagette extraite de l'image courante et, lorsque tous les points symboliques voulus ont été détectés au moins une fois dans la séquence d'images, l'initialisation est terminée par un recalage des imagettes sur une image courante et un modèle 2D spécifique du visage est construit. Le procédé permet de débuter la phase de poursuite avant que la phase d'initialisation soit terminée, notamment lorsque au moins deux points symboliques ont été identifiés dans la séquence d'images.

Description

Procédé pour initialiser un dispositif de poursuite d'un visage d'une personne
La présente invention appartient au domaine de la surveillance de la vigilance d'une personne et de ses zones d'intérêt lors d'une activité telle que la conduite d'un véhicule. Plus particulièrement l'invention concerne un procédé pour initialiser un dispositif de suivi de la position et/ou des mouvements d'un visage dans une séquence d'images.
Pour surveiller la vigilance d'une personne et de ses zones d'intérêt, une méthode consiste à observer le visage de cette personne au moyen d'une caméra délivrant des images dont l'analyse permet d'identifier des mouvements comme ceux de la tête, des yeux et des paupières et d'en déduire la direction vers laquelle la personne filmée regarde et avec quelle attention.
Il est connu d'utiliser pour cela une ou des caméras vidéo et de soumettre les images électroniques délivrées par ces caméras à des traitements numériques pour en extraire l'information recherchée.
Une méthode connue pour suivre les déplacements du visage consiste, dans une étape d'initialisation, à construire une représentation en deux dimensions du visage de la personne filmée, dite modèle 2D spécifique du visage, et, ensuite, dans une étape de poursuite, à suivre les mouvements et les déformations de cette représentation 2D pour en déduire les informations recherchées sur la position et l'orientation du visage de la personne. Pour construire un modèle 2D spécifique lors d'une étape d'initialisation, une méthode connue consiste, comme illustré sur la figure 1 , à :
• acquérir 10a une image 10b d'un visage devant être suivi ;
• localiser 10c le visage sur l'image ;
• identifier 11 des points symboliques PS sur l'image du visage ; • dans l'hypothèse 12 où tous les points symboliques recherchés n'ont pas été identifiés sur l'image, recommencer un cycle de recherche des points symboliques avec une nouvelle image jusqu'à ce que tous les points recherchés soient identifiés sur une image courante ;
• mémoriser 13 des imagettes correspondant à chaque point symbolique, imagettes extraites de l'image courante ;
• construire 14, à partir des positions des points symboliques dans l'image courante, le modèle 2D spécifique du visage observé.
De telles méthodes de suivi des mouvements d'un visage sont connues par exemple de la demande de brevet internationale publiée sous le numéro WO 02/09025. Une des difficultés de ces méthodes de suivi provient précisément de l'étape d'initialisation au cours de laquelle des points symboliques utilisés pour placer les imagettes et construire le modèle 2D sont recherchés dans une image.
Pour réaliser une poursuite de qualité, il est en effet nécessaire d'avoir identifié plusieurs points symboliques et, lorsque tous les points symboliques recherchés n'ont pas été identifiés sur une première image la recherche est recommencée sur l'image suivante et ainsi de suite sur les images successives jusqu'à ce que tous les points symboliques recherchés aient été identifiés sur une même image.
Les différentes morphologies de visages, ainsi que pour un même visage les différentes conditions d'observation : éclairage, position, orientation du visage, position des paupières et des lèvres ... expliquent que les résultats de la phase d'initialisation sont imprévisibles.
L'issue d'une phase d'initialisation s'avère dépendre en grande partie de la sensibilité des méthodes mises en œuvre pour identifier dans les images les points symboliques, sensibilité qui correspond à un compromis entre d'une part la durée et la quantité de calculs nécessaires pour identifier un point symbolique recherché et d'autre part le risque d'une mauvaise détection dans laquelle un point est identifié à tort comme un point symbolique recherché.
Si les moyens mis en œuvre pour identifier les points symboliques recherchés sont peu discriminants, le taux d'initialisations abouties est élevé mais les initialisations sont de mauvaises qualités du fait de l'utilisation probable de points pour construire le modèle 2D spécifique qui ne correspondent pas aux points symboliques recherchés.
Si les moyens mis en œuvre pour identifier les points symboliques recherchés sont très discriminants, le taux d'initialisations non abouties est élevé en raison de la non détection systématique de tous les points recherchés sur une image et la durée d'initialisation s'en trouve affectée.
La présente invention a précisément pour objectif un procédé de poursuite d'un visage mettant en œuvre un procédé d'initialisation qui accélère la phase d'initialisation sans nuire à la qualité de l'initialisation et qui permet de commencer la phase de poursuite alors que la phase d'initialisation n'est pas totalement achevée.
Pour obtenir ces résultats, au cours de l'étape d'initialisation : a) des points symboliques PS prédéfinis du visage sont identifiés sur une image du visage ; b) une image de dimension réduite associée à chaque point symbolique identifié, dite imagette, est extraite de l'image du visage ; c) un modèle à deux dimensions du visage poursuivi, dit modèle 2D spécifique, est réalisé à partir des positions des points symboliques détectés ; et, lorsque au cours de l'étape d'initialisation une partie seulement des points symboliques PS est identifiée sur une première image d'une séquence, d) les points symboliques identifiés et les imagettes associées extraites de ladite première image sont mémorisés ; e) les points symboliques non détectés sont recherchés sur des images successives de la séquence ; f) chaque point symbolique détecté dans une image de la séquence est, au moins pour les points symboliques non encore détectés, mémorisé ainsi que l'imagette correspondant au dit point extraite de ladite image de la séquence ; g) l'étape d'initialisation n'est considérée terminée que lorsque chaque point symbolique PS a été identifié au moins une fois sur une image de la séquence.
De préférence, pour améliorer la qualité de la détection des points symboliques et des imagettes, en outre : h) tous les points symboliques PS sont recherchés dans chaque image analysée de la séquence ; i) lorsqu'un point symbolique est détecté dans une image en cours d'analyse, dite image courante, un score représentatif de la qualité de l'identification du point en tant que point symbolique est attribué au dit point de ladite image, et ; j) lorsqu'un point symbolique est identifié dans l'image courante et qu'il a également été identifié dans une image précédente de la séquence : j1 ) son score dans l'image courante est comparé à un score mémorisé obtenu dans une image antérieure pour ledit point ; j2) l'imagette mémorisée correspondant audit point symbolique lors d'une détection dudit point dans l'image antérieure :
- est conservée si le score dans l'image courante est moins bon que le score mémorisé de l'image antérieure ; est remplacée par une imagette extraite de l'image courante si le score dans l'image courante est meilleur que le score mémorisé de l'image antérieure.
Pour tenir compte du fait que les imagettes mémorisées au cours de l'initialisation ne sont pas toutes extraites de la même image du visage, les imagettes des différents points symboliques sont alignées sur une image de la séquence, lorsque chaque point symbolique PS a été identifié au moins une fois dans les différentes images de la séquence, en utilisant un modèle géométrique à deux dimensions générique de visage.
Avantageusement du fait des constantes morphologiques d'un visage humain, au moins six points symboliques sont recherchés, correspondant aux angles extérieurs et intérieurs des yeux et aux angles gauche et droit de la bouche du visage.
L'invention concerne également tout dispositif de poursuite d'un visage utilisant un modèle de visage à deux dimensions comportant une telle phase d'initialisation. En outre la mémorisation des points symboliques PS et des imagettes étant réalisée à la volée sur chaque nouvelle image, la phase de poursuite est avantageusement débutée avant la fin de la phase d'initialisation, notamment lorsque au moins deux points symboliques PS ont été identifiés.
La description détaillée d'un mode de réalisation est faite en référence aux figures qui représentent :
" figure 1 : une vue schématique des étapes d'un procédé connu d'initialisation déjà cité ;
• figure 2 : une illustration d'une séquence d'image d'un visage et d'identification de points symboliques ;
• figure 3 : une vue schématique des étapes du procédé d'initialisation suivant l'invention ; Un procédé d'initialisation d'un dispositif de suivi de visage d'une personne suivant l'invention consiste à identifier une série de p points particuliers prédéterminés, dits points symboliques PS, sur des images d'un visage 1 , à associer à chacun de ces p points symboliques une imagette correspondant à une fraction de l'image autour du point symbolique correspondant et à construire à partir de ces points un modèle 2D spécifique du visage dont les mouvements doivent être suivis.
Ces points symboliques sont choisis parmi des points de l'image identifiables, dits points naturels, qui correspondent à des points de convergence de lignes séparant des zones contrastées de l'image.
La description détaillée de l'invention est illustrée par des exemples correspondant à un dispositif de poursuite utilisant six points symboliques PS, p=6, correspondant aux coins des yeux et de la bouche. Les points symboliques sont dans ce cas :
• pour l'œil droit :
> le coin extérieur de l'œil ou ROC, correspondant à une jonction des paupières supérieure et inférieure ;
> le coin intérieur de l'œil ou RIC ; • pour l'œil gauche :
> le coin extérieur de l'œil ou LOC ;
> le coin intérieur de l'œil ou LIC ;
• pour la bouche : > le coin gauche de la bouche ou LMC, correspondant à une jonction des lèvres supérieure et inférieure ;
> le coin droit de la bouche ou RMC.
D'autres points symboliques, en plus ou en remplacement de ceux-ci, peuvent être utilisés dés lors qu'ils sont identifiables sur un visage quelconque. Le dispositif comporte des moyens d'acquisition d'images, en particulier au moins une caméra vidéo et des mémoires d'images, aptes à délivrer des images successives constituant une séquence il , i2...if, comme illustré sur la figure 2.
On considère que la première image de la séquence est une image iO, et la première image prise en compte dans le processus d'initialisation est identifiée par l'indice il . Dans un système conventionnel d'acquisition d'images, les images d'une séquence se succèdent avec une fréquence de l'ordre de dix hertz ou de quelques dizaines de hertz.
Dans une première étape le dispositif acquiert 20a une image 20b comportant un visage 1 , identifie 20c le visage sur l'image puis recherche 21 les points symboliques PS(J), pour j=1 à p, sur l'image iO de la séquence.
Si les p points symboliques sont identifiés, les imagettes correspondant à chaque point symbolique sont extraites de l'image et un modèle 2D spécifique du visage est déterminé à partir de la position relative des points symboliques. La phase d'initialisation est dans cette situation considérée comme terminée. Cependant, dans la plupart des cas, les p points symboliques PS ne seront pas extraits de l'image iO, en particulier si la recherche des points symboliques est très discriminante et ou si les moyens utilisés pour générer ces images sont de performances limitées, par exemple des caméras vidéo à basse résolution telles que celles mises en œuvre dans des dispositifs à faibles coûts. Si 22 aucun point symbolique n'est identifié sur l'image iO, le processus de recherche des points symboliques est recommencé avec les images suivantes successives jusqu'à ce qu'au moins un point symbolique PS(j) soit effectivement identifié.
Le cas échéant, dans un mode particulier de mise en œuvre de l'invention, pour chaque point symbolique PS(j) identifié une note, dite score S-PSG)(O, dont l'usage est décrit ultérieurement, est attribuée 23 au dit point symbolique PS(j) identifié sur ladite image d'indice i en fonction de critères représentatifs d'une qualité de l'identification du point. Par exemple des valeurs caractéristiques de l'image autour du point, tels que des gradients de contraste, sont comparées à des valeurs typiques de points symboliques connus et le score attribué est d'autant plus élevé que les valeurs associées au point considéré sont proches des valeurs typiques. En outre une imagette est extraite de l'image d'indice i et est associée au dit point symbolique.
Les positions, scores et imagettes des points détectés sont mémorisés.
Par exemple, figure 2, le point ROC est identifié en premier lieu sur une image il et un score S-ROC(M ) est associé à ce point de la dite image de laquelle est extraite l'imagette il de ROC. Sur la figure 2 les imagettes sont symbolisées par un rectangle dans lequel est inscrit l'indice de l'image de laquelle a été extraite ladite imagette.
Dans une seconde étape, les points symboliques PSQ) sont à nouveau recherchés 21 sur une image suivante de la séquence jusqu'à une image i2 sur laquelle des points symboliques sont détectés. Comme lors de la recherche décrite précédemment, un score est attribué 23 à chaque point symbolique identifié et une imagette est, si besoin, extraite 25 de l'image pour chaque point symbolique identifié sur l'image i2.
Dans un premier mode de mise en œuvre de cette étape du procédé, seuls les points symboliques PS non détectés antérieurement sur des images d'un rang inférieur à l'image en cours d'analyse sont recherchées.
Dans un second mode préféré, correspondant aux figures 2 et 3, de mise en œuvre de cette étape du procédé, tous les points symboliques PS sont à nouveau recherchés sur chaque image de la séquence et, lorsqu'un point symbolique, par exemple le point ROC identifié dans une image i3, a déjà été identifié dans une image précédente, l'image il dans l'exemple, son nouveau score, S-ROC(i3), est comparé 24 au score que ledit point symbolique avait obtenu antérieurement, S-ROC(H ) dans l'exemple. Si le nouveau score est meilleur que le score antérieur, S-RIC(i3) > S-RIC(M ), l'imagette associée au point symbolique considéré est extraite de l'image i3 et est mémorisée à la place de l'imagette correspondante extraite de l'image M (cas de la figure 2).
Dans le cas contraire, l'imagette extraite antérieurement est conservée, par exemple sur la figure 2 pour le point LOC lorsque S-LOC(i3) < S-LOC(i2).
Pour les points symboliques identifiés dans une image qui n'ont pas été identifiés dans une image précédente, les points LOC et LMC pour l'image i2 de la figure 2, les dits points symboliques sont comme précédemment décrit associés chacun à un score et à une imagette extraite de l'image en cours d'analyse. Le processus qui vient d'être décrit est répété 26 de manière itérative avec les images successives de la séquence jusqu'à une image de rang if pour laquelle tous les p points symboliques recherchés ont été identifiés au moins une fois et des imagettes associées sont stockées, même si aucune image de la séquence analysée n'a été en mesure de permettre à elle seule l'identification de tous ces points symboliques.
En outre les imagettes associées aux points symboliques s'avèrent de meilleure qualité dans la mesure où, extraites d'images pouvant être différentes, pour chaque point symbolique l'imagette la plus représentative du point considéré est mémorisée parmi toutes les imagettes possibles des images de la séquence pour ce point symbolique. Certaines imagettes ayant été extraites d'images de la séquence antérieures à la dernière image if, l'image courante lorsque tous les points symboliques recherchés ont été identifiés, les positions des différentes imagettes sont recalées 27 par rapport à ladite image courante.
Avantageusement ce recalage des positions est réalisé en utilisant un modèle 2D générique 7 de visage et un filtrage qui permettent de reconstituer 28 le modèle 2D spécifique au visage traité.
La phase d'initialisation est alors considérée comme terminée.
Ainsi le procédé permet d'obtenir une initialisation rapide et cependant de grande qualité, gage d'une poursuite ultérieure performante et de qualité, par la mise en œuvre de méthodes de détermination des points symboliques très discriminantes, méthodes de détermination qui n'auraient pas permis d'aboutir à une initialisation dans une durée acceptable par des méthodes d'initialisation conventionnelles.
Dans une forme particulière de mise en oeuvre de l'invention, la phase de poursuite est démarrée avant la fin de la' phase d'initialisation. En effet il est théoriquement possible de réaliser une poursuite sur la base d'un modèle 2D de visage dés lors qu'au moins deux points sont identifiés.
Une telle poursuite dans un mode dégradé utilisant un nombre limité de points n'est envisageable que si la qualité de détection des points symboliques est bonne ce que permet le procédé par l'utilisation de méthodes de détection des points symboliques très discriminantes.
Dans cette forme particulière de mise en œuvre de l'invention, la phase de poursuite est donc avantageusement démarrée avant que tous les points symboliques n'aient été détectés, donc avant la fin de la phase d'initialisation.
De préférence la phase de poursuite est démarrée dés qu'au moins deux points symboliques ont été détectés. Dans une variante de mise en œuvre de cette forme particulière, des résultats de la phase de poursuite, en particulier des informations de la position estimée du visage ayant une influence sur la position des points symboliques dans l'image, par exemple l'inclinaison du visage, sont utilisés pour améliorer la performance de la recherche des autres points symboliques de l'image qui n'ont pas encore été détectés par le processus d'initialisation en cours.
Le procédé proposé permet d'accélérer sensiblement le processus d'initialisation d'un dispositif de poursuite d'un visage et la qualité de l'initialisation.
Le procédé s'applique avantageusement à tout dispositif de poursuite basé sur la reconstruction d'un modèle à deux dimensions de l'image d'un visage devant être poursuivi.
Bien entendu, le procédé ci-dessus décrit pourrait être également extrapolé pour être applicable à un procédé et un dispositif de poursuite d'un visage qui serait basé sur un modèle en trois dimensions.

Claims

REVENDICATIONS
1. Procédé de poursuite d'un visage (1 ) comportant une étape d'initialisation au cours de laquelle : a) des points symboliques prédéfinis PS du visage sont identifiés (21 ) sur une image du visage ; b) une image de dimension réduite associée à chaque point symbolique identifié, dite imagette, est extraite (25) de l'image du visage ; c) un modèle à deux dimensions du visage poursuivi, dit modèle 2D spécifique, est réalisé (28) à partir des positions des points symboliques détectés ; caractérisé en ce que, lorsque au cours de l'étape d'initialisation une partie seulement des points symboliques PS est identifiée sur une première image d'une séquence : d) les points symboliques identifiés et les imagettes associées extraites de ladite première image sont mémorisés ; e) les points symboliques non détectés sont recherchés sur des images successives de la séquence ; f) chaque point symbolique détecté dans une image de la séquence est, au moins pour les points symboliques non encore détectés, mémorisé ainsi que l'imagette correspondant au dit point extraite de ladite image de la séquence ; g) l'étape d'initialisation n'est considérée terminée (26) que lorsque chaque point symbolique PS a été identifié au moins une fois sur une image de la séquence.
2. Procédé suivant la revendication 1 dans lequel : h) tous les points symboliques PS sont recherchés dans chaque image analysée de la séquence ; i) lorsqu'un point symbolique est détecté dans une image en cours d'analyse, dite image courante, un score représentatif de la qualité de l'identification du point en tant que point symbolique est attribué au dit point de ladite image, et ; j) lorsqu'un point symbolique est identifié dans l'image courante et qu'il a également été identifié dans une image précédente de la séquence : j1 ) son score dans l'image courante est comparé (24) à un score mémorisé obtenu dans une image antérieure pour ledit point ; j2) l'imagette mémorisée correspondant audit point symbolique lors d'une détection dudit point dans l'image antérieure :
- est conservée si le score dans l'image courante est moins bon que le score mémorisé de l'image antérieure ;
- est remplacée par une imagette extraite de l'image courante si le score dans l'image courante est meilleur que le score mémorisé de l'image antérieure.
3. Procédé suivant la revendication 1 ou la revendication 2 dans lequel les imagettes des différents points symboliques sont alignées sur une image de la séquence lorsque chaque point symbolique PS a été identifié au moins une fois dans les différentes images de la séquence en utilisant un modèle géométrique à deux dimensions générique de visage.
4. Procédé suivant l'une des revendications précédentes dans lequel au moins six points symboliques d'un visage sont recherchés, les dits six points correspondant aux angles extérieurs et intérieurs des yeux et aux angles gauche et droit de la bouche du visage.
5. Procédé suivant l'une des revendications précédentes caractérisé en ce qu'une phase de poursuite est débutée dès que au moins deux points symboliques ont été identifiés et en ce que les résultats de la poursuite sont utilisés pour la recherche des autres points symboliques non encore détectés.
6. Dispositif de poursuite d'un visage d'une personne utilisant un modèle de visage à deux dimensions comportant une phase d'initialisation conforme à l'une des revendications 1 à 5.
7. Dispositif suivant la revendication 6 dans lequel une phase de poursuite du visage est débutée avant la fin de la phase d'initialisation.
8. Dispositif suivant la revendication 7 dans lequel la phase de poursuite est débutée lorsque au moins deux points symboliques PS ont été identifiés.
PCT/EP2008/000630 2007-01-30 2008-01-28 Procédé pour initialiser un dispositif de poursuite d'un visage d'une personne Ceased WO2008095624A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0700629A FR2911978B1 (fr) 2007-01-30 2007-01-30 Procede pour initialiser un dispositif de poursuite d'un visage d'une personne
FR0700629 2007-01-30

Publications (1)

Publication Number Publication Date
WO2008095624A1 true WO2008095624A1 (fr) 2008-08-14

Family

ID=38515521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/000630 Ceased WO2008095624A1 (fr) 2007-01-30 2008-01-28 Procédé pour initialiser un dispositif de poursuite d'un visage d'une personne

Country Status (2)

Country Link
FR (1) FR2911978B1 (fr)
WO (1) WO2008095624A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
WO2004003849A1 (fr) * 2002-06-28 2004-01-08 Seeing Machines Pty Ltd Procede et dispositif de poursuite

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
WO2004003849A1 (fr) * 2002-06-28 2004-01-08 Seeing Machines Pty Ltd Procede et dispositif de poursuite

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
AZARBAYEJANI, A. AND STARNER, T. AND HOROWITZ, B. AND PENTLAND: "Visually controlled graphics", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 15, no. 6, June 1993 (1993-06-01), pages 602 - 605, XP002452797 *
HAISONG GU ET AL: "Active facial tracking for fatigue detection", APPLICATIONS OF COMPUTER VISION, 2002. (WACV 2002). PROCEEDINGS. SIXTH IEEE WORKSHOP ON 3-4 DEC. 2002, PISCATAWAY, NJ, USA,IEEE, 3 December 2002 (2002-12-03), pages 137 - 142, XP010628738, ISBN: 0-7695-1858-3 *
HEINZMANN, J. AND ZELINSKY, A: "Robust real-time face tracking and gesture recognition", PROC. INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE, vol. 2, 1997, pages 1525 - 1530, XP002452796 *
HUANG T S ET AL INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING: "HUMAN FACIAL MOTION MODELING, ANALYSIS, AND SYNTHESIS FOR VIDEO COMPRESSION", VISUAL COMMUNICATION AND IMAGE PROCESSING '91: VISUAL COMMUNICATION. BOSTON, NOV. 11 - 13, 1991, PROCEEDINGS OF SPIE, BELLINGHAM, SPIE, US, vol. PART 1 VOL. 1605, 11 November 1991 (1991-11-11), pages 234 - 241, XP000479234 *
NICKELS K ET AL: "Estimating uncertainty in SSD-based feature tracking", IMAGE AND VISION COMPUTING, GUILDFORD, GB, vol. 20, no. 1, 1 January 2002 (2002-01-01), pages 47 - 58, XP002423914, ISSN: 0262-8856 *
S. LI, A.K. JAIN: "Handbook of face recognition", 2005, SPRINGER, USA, XP002452800 *
S. SENGUPTA, J. M. HANNAH AND P. M. GRANT: "Improved Tracking Of Facial Features In Head And Shoulder Video Sequences", INDIAN CONFERENCE ON COMPUTER VISION, GRAPHICS AND IMAGE PROCESSING, 16 December 2002 (2002-12-16) - 18 December 2002 (2002-12-18), Ahmedabad, India, pages 1 - 5, XP002452798, Retrieved from the Internet <URL:http://citeseer.ist.psu.edu/558399.html> [retrieved on 20070926] *
YAU J F S ET AL: "A feature tracking method for motion parameter estimation in a model-based coding application", THIRD INTERNATIONAL CONFERENCE ON IMAGE PROCESSING AND ITS APPLICATIONS, 1989, pages 531 - 535, XP006517492 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
US11238270B2 (en) 2017-10-26 2022-02-01 Orbbec Inc. 3D face identity authentication method and apparatus

Also Published As

Publication number Publication date
FR2911978A1 (fr) 2008-08-01
FR2911978B1 (fr) 2009-03-20

Similar Documents

Publication Publication Date Title
EP3707676B1 (fr) Procédé d&#39;estimation de pose d&#39;une caméra dans le référentiel d&#39;une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d&#39;ordinateur associé
FR3087558A1 (fr) Procede d&#39;extraction de caracteristiques d&#39;une empreinte digitale representee par une image d&#39;entree
EP1986126B1 (fr) Procédé et dispositif de localisation d&#39;un iris humain dans une image
FR2962822A1 (fr) Procede et systeme de classification de signaux neuronaux, et procede de selection d&#39;electrodes pour commande neuronale directe
EP3866064B1 (fr) Procede d&#39;authentification ou d&#39;identification d&#39;un individu
WO2016042106A1 (fr) Procédé et système de localisation et de cartographie
WO2009141378A1 (fr) Procede et systeme d&#39;indexation et de recherche de documents video
EP4046129B1 (fr) Procédé de fabrication
WO2018109298A1 (fr) Système de reconnaissance d&#39;objets basé sur un modèle générique 3d adaptatif
EP4325442A1 (fr) Procédé, programme d&#39;ordinateur, dispositif d&#39;identification de profilés
WO2008095624A1 (fr) Procédé pour initialiser un dispositif de poursuite d&#39;un visage d&#39;une personne
EP3216213B1 (fr) Procédé de détection de pixels défectueux
EP3770805B1 (fr) Procede d&#39;identification d&#39;une personne dans une video, par une signature visuelle de cette personne, programme d&#39;ordinateur et dispositif correspondants
WO2013034654A1 (fr) Identification par reconnaissance d&#39;iris
EP3428841B1 (fr) Procédé de détection de fraude lors d`une reconnaissance d&#39;iris
EP2652674A1 (fr) Procede de comparaison d&#39;images d&#39;iris par selection intelligente de zones texturees
EP3274913B1 (fr) Dispositif et procede pour l&#39;acquisition biometrique de l&#39;iris
FR2950451A1 (fr) Algorithme de detection des points de contour dans une image
WO2011089517A1 (fr) Procede et dispositif de reconnaissance de visages en conditions de poses variables
WO2008104208A1 (fr) Procede pour identifier despoints symboliques sur une image d&#39;un visage d&#39;une personne
EP2877979B1 (fr) Methode monocamera de determination d&#39;une direction d&#39;un solide
FR3112401A1 (fr) Procédé et système pour la vision stéréoscopique d’une scène d’observation céleste
Gueguen Joint Information Extraction and Compression of Satellite Image Time Series
WO2023247208A1 (fr) Procede de segmentation d&#39;une pluralite de donnees, procede de codage, procede de decodage, dispositifs, systemes et programme d&#39;ordinateur correspondants
WO2025012530A1 (fr) Procede pour obtenir une pile d&#39;images, produit programme d&#39;ordinateur mettant en œuvre un tel procede

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08707336

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08707336

Country of ref document: EP

Kind code of ref document: A1