FR2960315A1

FR2960315A1 - Method for capturing movement of head, hand and/or finger of person interacted or communicated with e.g. mobile terminal screen, involves estimating human movement from change of identified thermal radiation area

Info

Publication number: FR2960315A1
Application number: FR1053896A
Authority: FR
Inventors: Yohan Maniouloux
Original assignee: OPYNOV
Current assignee: YOHAN HENRI MANIOULOUX, FR
Priority date: 2010-05-20
Filing date: 2010-05-20
Publication date: 2011-11-25

Abstract

The method involves measuring spatial distribution of thermal radiation or variations in the time of thermal radiation emitted by a thermal scene (4) formed of an emissive or hot area of a person (6). A thermal radiation area is identified on the measured spatial distribution. Changes in time of the identified thermal radiation area are monitored. Human movement is estimated from the change of the identified thermal radiation area. An independent claim is also included for a device for capturing movement of a person.

Description

TITRE TITLE

Procédé et dispositif de captation de mouvements d'un individu par imagerie thermique. DESCRIPTION Method and device for capturing movements of an individual by thermal imaging DESCRIPTION

L'invention concerne le domaine technique des interfaces homme machine permettant à un individu de communiquer ou interagir avec une 10 source d'affichage. The invention relates to the technical field of man-machine interfaces allowing an individual to communicate or interact with a display source.

Plus particulièrement mais non limitativement, l'invention concerne un système de détection des mouvements humains produits avec la tête et/ou avec les mains et/ou avec les doigts, par exemple à des fins de 15 navigation dans du contenu ou dans des menus, ou d'adaptation du cadre d'affichage en 2D ou en 3D, ou de navigation en réalité virtuelle par exemple pour des jeux vidéos, ou de navigation en réalité augmentée par exemple pour une assistance à maintenance industrielle ou pour une assistance à la conduite automobile. 20 Selon l'état de la technique, on connaît des interfaces homme machine mettant en oeuvre des techniques d'imagerie active, selon lesquelles les rayonnements acquis sont des rayonnements réfléchis sur les surfaces d'une scène observée, ou des rayonnements émis par des accessoires fixés 25 sur celle-ci. C'est par exemple le cas des solutions de reconnaissance de formes en deux dimensions dans le spectre visible, des solutions de reconnaissance de formes en trois dimensions dans l'infrarouge grâce à une reconstruction 3D des surfaces exposées des individus de la scène (maillage spatial), ou des solutions de suivi de points lumineux infrarouges rendus 15 solidaires d'une partie de l'individu observé (pastilles réfléchissantes ou sources lumineuses ponctuelles embarquées). De telles solutions ne donnent pas totalement satisfaction et présentent certains inconvénients : - La reconnaissance 2D nécessite une puissance de calcul importante pour le traitement des images, et est sensible aux conditions d'éclairage ambiant et aux spécificités physiques de l'individu observé. - La reconnaissance 3D nécessite une puissance de calcul encore plus importante puisqu'elle génère et traite une information brute beaucoup plus complète (reconstruction surfacique de la scène observée en 3D). La majeure partie de cette information est pourtant superflue dans le cas où un simple mouvement de consigne (geste de l'individu) est recherché. Le système matériel nécessaire est également relativement complexe et coûteux à mettre en oeuvre si l'on recherche une reconnaissance précise (maillage fin). - Le suivi de points lumineux est simple à mettre en oeuvre, mais ne fonctionne correctement que si l'utilisateur fixe sur lui des accessoires particuliers, tels que des pastilles réfléchissantes ou des sources lumineuses ponctuelles. Cette contrainte technique induit un inconfort majeur à l'utilisation. More particularly, but not exclusively, the invention relates to a system for detecting human movements produced with the head and / or with the hands and / or with the fingers, for example for purposes of navigation in content or in menus, or adaptation of the display frame in 2D or 3D, or navigation in virtual reality for example for video games, or navigation in augmented reality for example for an industrial maintenance assistance or for assistance to driving . According to the state of the art, man-machine interfaces using active imaging techniques are known, according to which the acquired radiation is radiation reflected on the surfaces of an observed scene, or radiation emitted by accessories. attached to it. This is for example the case of two-dimensional shape recognition solutions in the visible spectrum, three-dimensional shape recognition solutions in the infrared through a 3D reconstruction of the exposed surfaces of the individuals of the scene (spatial mesh ), or tracking solutions infrared light spots made integral with a portion of the observed individual (reflective pellets or onboard light sources). Such solutions do not give complete satisfaction and have certain drawbacks: 2D recognition requires considerable computing power for image processing, and is sensitive to the ambient lighting conditions and the physical specificities of the individual observed. - 3D recognition requires even more computing power since it generates and processes a much more complete raw information (surface reconstruction of the scene observed in 3D). The majority of this information is however superfluous in the case where a simple movement of instruction (gesture of the individual) is sought. The necessary hardware system is also relatively complex and expensive to implement if one seeks a precise recognition (fine mesh). - The tracking of bright spots is simple to implement, but only works properly if the user attaches particular accessories to them, such as reflective pads or point light sources. This technical constraint induces major discomfort to use.

En marge des techniques d'imagerie active, la technique de détection thermique est bien adaptée pour la détection passive de présence, mais elle est inadaptée à la reconnaissance de mouvements. Le document WO2009033491 propose une évolution depuis l'approche « détection de présence » vers l'approche « localisation de présence ». Pour cela, elle exploite la dépendance de la mesure de capteurs thermiques à l'angle d'incidence des rayonnements thermiques, afin de localiser la zone de présence de la source chaude par rapport auxdits capteurs. L'hypothèse de base, reprise aux systèmes de détection de présence, consiste à considérer l'individu dans sa globalité comme une source chaude unique et homogène. Cette hypothèse limite la reconnaissance de mouvements à un nombre faible de degrés de liberté, ces degrés de libertés étant le plus généralement de type translation. À titre illustratif on peut considérer un mouvement de rotation latérale de la tête autour du cou ; un tel mouvement risque soit de ne pas être détecté, soit d'être considéré à tort comme une translation horizontale. In addition to active imaging techniques, the thermal detection technique is well suited for passive presence detection, but it is unsuitable for motion recognition. The document WO2009033491 proposes an evolution from the "presence detection" approach to the "presence localization" approach. For this, it exploits the dependence of the measurement of thermal sensors at the incidence angle of thermal radiation, in order to locate the zone of presence of the hot source relative to said sensors. The basic hypothesis, taken up with presence detection systems, consists in considering the individual as a whole as a single and homogeneous hot source. This hypothesis limits the recognition of movements to a small number of degrees of freedom, these degrees of freedom being generally of the translational type. As an illustration, we can consider a lateral rotation of the head around the neck; such a movement risks either not being detected or being wrongly considered as a horizontal translation.

L'invention s'est fixée pour but de remédier à ces inconvénients d'une manière simple, sûre, efficace et rationnelle. The object of the invention is to remedy these disadvantages in a simple, safe, effective and rational manner.

Le problème que se propose de résoudre l'invention est de proposer un nouveau type d'interface homme machine qui soit à la fois peu exigeant en termes de ressources de calcul, et le moins intrusif possible pour le ou les utilisateurs. The problem to be solved by the invention is to propose a new type of human machine interface which is at the same time not very demanding in terms of computing resources, and the least intrusive possible for the user or users.

Pour résoudre ce problème, il a été conçu et mis au point un procédé de captation d'au moins un mouvement d'au moins un individu, qui comprend les étapes suivantes : - on mesure la distribution spatiale de rayonnements thermiques, ou de variations dans le temps de rayonnements thermiques, émis par une scène thermique constituée d'au moins une zone chaude et émissive d'au moins un individu ; - on identifie au moins une zone de rayonnement thermique particulier sur la distribution spatiale mesurée ; - on suit les évolutions dans le temps d'au moins une des zones de rayonnement thermique particulier identifiées ; - on procède à l'estimation d'au moins un mouvement humain à l'origine de l'évolution d'au moins une des zones de rayonnement thermique particulier identifiées. To solve this problem, it has been designed and developed a method for capturing at least one movement of at least one individual, which comprises the following steps: the spatial distribution of thermal radiation, or variations in the thermal radiation time, emitted by a thermal scene consisting of at least one hot and emissive zone of at least one individual; at least one zone of particular heat radiation is identified on the measured spatial distribution; the changes in time of at least one of the particular heat radiation zones identified are tracked; the estimation of at least one human movement at the origin of the evolution of at least one of the particular heat radiation zones identified.

Pour la mise en oeuvre du procédé, le dispositif comprend : - des moyens radiométriques d'imagerie, passive et en deux dimensions, de rayonnements thermiques ou de variations de rayonnements thermiques émis par une scène thermique constituée d'au moins une zone chaude et émissive d'au moins un individu ; - des moyens optiques aptes à projeter une image nette et fidèle de la scène thermique dans un plan focal où sont situés les moyens radiométriques ; - des moyens de conditionnement des signaux électriques aptes à extraire des informations numériques sur la distribution spatiale de l'émission thermique de la scène thermique à un instant donné, ou sur les variations de cette distribution dans le temps ; - des moyens de traitement de l'image et des moyens de décision aptes à identifier au moins une zone de rayonnement thermique particulier, à suivre son évolution dans le temps, et à en extraire une estimation d'au moins un mouvement humain à l'origine de l'évolution d'au moins une des zones identifiées. For the implementation of the method, the device comprises: radiometric imaging means, passive and two-dimensional, thermal radiation or thermal radiation variations emitted by a thermal scene consisting of at least one hot and emissive zone at least one individual; optical means able to project a clear and faithful image of the thermal scene in a focal plane where the radiometric means are located; means for conditioning the electrical signals able to extract digital information on the spatial distribution of the thermal emission of the thermal scene at a given moment, or on the variations of this distribution in time; image processing means and decision means able to identify at least one particular thermal radiation zone, to follow its evolution over time, and to extract an estimate of at least one human movement from it; origin of the evolution of at least one of the identified areas.

D'une manière avantageuse, il résulte de ces caractéristiques que l'invention est un système d'imagerie passive en deux dimensions de rayonnements émis naturellement et en permanence par tout être humain vivant. Cette caractéristique intrinsèque de l'invention la différencie des autres solutions connues qui mettent en oeuvre des techniques d'imagerie active dont les rayonnements considérés sont des rayonnements réfléchis sur les surfaces de la scène observée, ou des rayonnements émis par des accessoires fixés sur celle-ci, mais en aucun cas des rayonnements directement émis par le ou les individus de la scène. Cette caractéristique intrinsèque de l'invention procure de nombreux avantages, parmi lesquels on peut citer : - Une simplicité et un confort d'utilisation puisqu'il n'est pas nécessaire de s'équiper d'accessoires pour être reconnu par le système de captation de mouvements. - Une insensibilité aux conditions d'éclairage ambiant, que l'on soit dans l'obscurité ou à contre-jour. - Une sensibilité très réduite aux spécificités physiques du ou des individus observés à un instant donné, puisque la distribution spatiale du rayonnement thermique est très similaire entre deux individus, ou pour un même individu d'un jour sur l'autre. - Une économie d'énergie et la protection des personnes puisqu'aucun élément du système n'émet de lumière, dans le visible ou l'infrarouge, en particulier dans la direction de l'individu et de son champ de vision. Advantageously, it follows from these characteristics that the invention is a passive two-dimensional radiation imaging system emitted naturally and permanently by any living human being. This intrinsic characteristic of the invention differentiates it from other known solutions which implement active imaging techniques whose radiation is considered radiation reflected on the surfaces of the scene observed, or radiations emitted by accessories attached thereto. ci, but in no case radiation directly emitted by the individual or individuals of the scene. This intrinsic characteristic of the invention provides numerous advantages, among which may be mentioned: - Simplicity and comfort of use since it is not necessary to equip accessories to be recognized by the capture system of movements. - Insensitivity to ambient lighting conditions, whether in the dark or against the light. - A very reduced sensitivity to the physical specificities of the individual or individuals observed at a given moment, since the spatial distribution of the thermal radiation is very similar between two individuals, or for the same individual from one day to the next. - Energy saving and protection of people since no element of the system emits light, in the visible or the infrared, especially in the direction of the individual and his field of vision.

Il est à noter que l'interface homme machine selon l'invention est adaptée à l'interaction ou à la communication, simultanée ou non, d'un ou plusieurs individus avec une ou plusieurs sources d'affichage. Au sens de l'invention, on entend par source d'affichage un ensemble informatique autonome, doté de capacités de traitement, de communication, d'actionnement ou de mesure, et utilisé pour émettre ou recevoir des informations, en provenance ou à destination d'un ou plusieurs individus, par la mise à jour dynamique d'une zone affichage. L'interface homme machine selon l'invention est adaptée à toute source d'affichage sujette à interaction ou à communication avec un ou plusieurs êtres humains, des sources d'affichages candidates mais non exclusives, étant des écrans de terminaux mobiles, des moniteurs d'ordinateurs ou de consoles de jeux, des écrans de télévision, des surfaces de vidéo projection, des bornes interactives, des pupitres de commande industriels, des écrans ou des surfaces de projection en vitrine, des solutions de projection en vision haute (Head-Up Display), ou des lunettes avec affichage en vision directe. It should be noted that the human machine interface according to the invention is suitable for the interaction or communication, simultaneous or not, of one or more individuals with one or more display sources. For the purposes of the invention, the term "display source" means an autonomous computer unit, equipped with processing, communication, actuation or measurement capabilities, and used to transmit or receive information, from or to one or more individuals, by dynamically updating a display area. The human machine interface according to the invention is suitable for any display source subject to interaction or communication with one or more human beings, candidate but non-exclusive display sources, being screens for mobile terminals, monitors for computers or game consoles, television screens, video projection surfaces, interactive kiosks, industrial control desks, screens or window projection surfaces, high-vision projection solutions (Head-Up Display), or glasses with direct vision display.

L'invention est exposée ci-après plus en détail à l'aide des figures annexées parmi lesquelles : la figure 1 montre, par une vue à caractère schématique, le principe à la base du procédé selon l'invention la figure 2 montre, notamment, une forme de réalisation de l'ensemble de radiométrie et de l'unité de traitement ; les figures 3, 4 et 5 montrent, à titre indicatif et nullement limitatif, des exemples de parties d'un individu aptes à constituer la scène thermique. la figure 6 montre, à titre indicatif et nullement limitatif, la décomposition selon six degrés de liberté d'un mouvement en trois dimensions d'une partie. The invention is described below in more detail with reference to the appended figures in which: FIG. 1 shows, by a schematic view, the basic principle of the method according to the invention, FIG. an embodiment of the radiometry assembly and the processing unit; Figures 3, 4 and 5 show, by way of indication and by no means limitation, examples of parts of an individual capable of constituting the thermal scene. FIG. 6 shows, by way of indication and in no way limiting, the decomposition according to six degrees of freedom of a three-dimensional movement of a part.

Sur les figures, les différents éléments communs aux diverses variantes ou formes de réalisation portent les mêmes références. In the figures, the various elements common to the various variants or embodiments have the same references.

Un procédé de captation de mouvements humains par imagerie thermique selon l'invention, tel qu'illustré schématiquement à la figure 1, mesure et analyse la distribution spatiale du rayonnement thermique d'une scène thermique (4). Le ou les mouvements humains sont reconnus comme des consignes à destination finale d'au moins une source d'affichage. Selon l'invention, une scène thermique (4) est constituée d'au moins une partie (5) d'au moins un individu (6). Une partie (5) se définit comme une zone d'un individu, délimitée et émissive de rayonnements thermiques, telle que l'on peut faire l'approximation que tous les points source de rayonnement thermique de cette partie sont entraînés en bloc lors de la réalisation d'un mouvement par l'individu. Des exemples préférés mais non exclusifs de parties sont des zones délimitées du visage (figure 4) ou des mains (figure 3), ou des ouvertures faites dans un vêtement présentant une faible émissivité dans l'infrarouge lointain pour ne laisser s'échapper que localement le rayonnement thermique (trous circulaires dans une cagoule et/ou des gants et/ou une combinaison intégrale) (figure 5). Plus précisément : sur le visage, ces zones peuvent être constituées par les lobes oculaires, ou le nez, ou la bouche, ou les lèvres, ou le menton, ou les joues, ou éventuellement des objets portés tels que des lunettes ; sur les mains, ces zones peuvent être constituées par les doigts, ou les ongles, ou les phalanges, ou les portions des doigts situées entre deux phalanges ou entre une phalange et une extrémité d'un doigt, ou éventuellement des objets portés tels que des bagues. A method for capturing human movements by thermal imaging according to the invention, as schematically illustrated in FIG. 1, measures and analyzes the spatial distribution of the thermal radiation of a thermal scene (4). The human movement or movements are recognized as instructions to the final destination of at least one display source. According to the invention, a thermal scene (4) consists of at least a part (5) of at least one individual (6). A part (5) is defined as an area of an individual, delimited and emissive of thermal radiation, such that it can be approximated that all the thermal radiation source points of this part are driven in block during the realization of a movement by the individual. Preferred but non-exclusive examples of parts are delimited areas of the face (FIG. 4) or hands (FIG. 3), or openings made in a garment having a low emissivity in the far infrared to let escape only locally. thermal radiation (circular holes in a hood and / or gloves and / or an integral combination) (Figure 5). More specifically: on the face, these zones may be constituted by the ocular lobes, or the nose, or the mouth, or the lips, or the chin, or the cheeks, or possibly worn objects such as glasses; on the hands, these areas may be constituted by the fingers, or the nails, or the phalanges, or the portions of the fingers located between two phalanges or between a phalanx and a finger end, or possibly worn objects such as rings.

Le procédé de captation de mouvements humains par imagerie thermique selon l'invention, fait l'hypothèse que l'inertie thermique des parties de la scène thermique est suffisamment grande pour considérer que les variations temporelles de la distribution spatiale de rayonnement thermique, entre au moins deux acquisitions successives d'un même pixel, résultent d'une réorganisation spatiale des parties dans la scène thermique plutôt que d'une modification de l'intensité d'émission de certaines zones de la scène thermique par rapport à d'autres. A partir de là, il est possible d'estimer le mouvement d'au moins une partie (5) de la scène thermique (4) : selon au moins six degrés de liberté de réalisation (figure 6), dès que l'on connaît la projection selon deux dimensions non confondues, du déplacement d'au moins trois points distincts et non-alignés de cette partie ; - selon au moins quatre degrés de liberté de réalisation (figure 6), dès que l'on connaît la projection selon deux dimensions non confondues, du déplacement d'au moins deux points distincts de cette partie ; - selon au moins deux degrés de liberté de réalisation (figure 6), dès que l'on connaît la projection selon deux dimensions non confondues, du déplacement d'au moins un point de cette partie. The method of capturing human movements by thermal imaging according to the invention, makes the assumption that the thermal inertia of the parts of the thermal scene is sufficiently large to consider that the temporal variations of the spatial distribution of thermal radiation, between at least two successive acquisitions of the same pixel result from a spatial reorganization of the parts in the thermal scene rather than a modification of the emission intensity of certain zones of the thermal scene with respect to others. From there, it is possible to estimate the movement of at least one part (5) of the thermal stage (4): according to at least six degrees of freedom of realization (FIG. 6), as soon as we know the projection according to two non-mixed dimensions of the displacement of at least three distinct and non-aligned points of this part; - According to at least four degrees of freedom of realization (Figure 6), as soon as we know the projection in two unmistakable dimensions, the displacement of at least two distinct points of this part; - According to at least two degrees of freedom of realization (Figure 6), as soon as we know the projection in two non-confused dimensions, the displacement of at least one point of this part.

Il est à noter que l'invention ainsi décrite se distingue fondamentalement des solutions de détection de présence ou de localisation de présence identifiées dans l'état de l'art, puisque l'individu n'est pas considéré dans sa globalité comme une source chaude unique et homogène, mais comme une association de parties, chaque partie présentant elle-même une carte d'émission thermique non nécessairement homogène. Au même titre que les caractéristiques géométriques d'une partie, le dispositif selon l'invention interprète l'inhomogénéité de la distribution de rayonnement thermique d'une partie pour estimer son mouvement selon les considérations énoncées dans le paragraphe précédent. It should be noted that the invention thus described is fundamentally different from presence detection solutions or presence localization identified in the state of the art, since the individual is not considered in its entirety as a hot source unique and homogeneous, but as a combination of parts, each party itself presenting a thermal emission map not necessarily homogeneous. Like the geometrical characteristics of a part, the device according to the invention interprets the inhomogeneity of the thermal radiation distribution of a part to estimate its movement according to the considerations set out in the preceding paragraph.

Un dispositif de captation de mouvements humains par imagerie thermique selon l'invention, tel qu'illustré schématiquement à la figure 1 et désigné dans son ensemble par la référence (1), comprend : - d'une part un ensemble de radiométrie (2) des rayonnements thermiques incidents (3) émis par une scène thermique (4) constituée d'au moins une partie (5) d'au moins un individu (6) ; - et, d'autre part, une unité de traitement (7). A device for capturing human movements by thermal imaging according to the invention, as schematically illustrated in FIG. 1 and designated as a whole by the reference (1), comprises: on the one hand a set of radiometry (2) incident thermal radiation (3) emitted by a thermal scene (4) consisting of at least a part (5) of at least one individual (6); - and, on the other hand, a processing unit (7).

L'unité de traitement (7) est raccordée électriquement à l'ensemble de radiométrie (2) et comprend, comme le montre la figure 2, une unité de conditionnement (8) des signaux issus de l'ensemble de radiométrie (2), une unité de traitement de l'image (9) des images en provenance de l'unité de conditionnement (8), et une unité de décision (10) en charge d'estimer le mouvement humain et, par association, la commande (11) à envoyer vers la source d'affichage dynamique (12) située de préférence dans le champ de vision (13) de l'individu (6). The processing unit (7) is electrically connected to the radiometry assembly (2) and comprises, as shown in FIG. 2, a conditioning unit (8) of the signals coming from the radiometry assembly (2), an image processing unit (9) of the images from the conditioning unit (8), and a decision unit (10) responsible for estimating the human movement and, by association, the command (11). ) to be sent to the dynamic display source (12) preferably located in the field of view (13) of the individual (6).

L'ensemble de radiométrie (2) comprend (figure 2) des capteurs radiométriques (14), et des moyens optiques (15) aptes à projeter une image nette et fidèle de la scène thermique (4) dans un plan focal (16) où sont situés lesdits capteurs radiométriques (14). Au sens de l'invention on entend par capteur radiométrique un dispositif de mesure qui quantifie le rayonnement thermique incident sur au moins deux niveaux de mesure. Cette définition inclut les détecteurs de présence de type « Tout-Ou-Rien », mais ne s'y limite pas. Dans une application préférée mais non exclusive, l'ensemble de radiométrie fournit des informations sur un nombre de niveaux bien supérieur à deux. The radiometry assembly (2) comprises (FIG. 2) radiometric sensors (14), and optical means (15) capable of projecting a clear and faithful image of the thermal scene (4) into a focal plane (16) where these radiometric sensors (14) are located. For the purposes of the invention, the term "radiometric sensor" means a measuring device that quantifies the incident thermal radiation over at least two measurement levels. This definition includes "all-or-nothing" presence detectors, but is not limited to them. In a preferred but not exclusive application, the radiometry package provides information on a number of levels well above two.

Au sens de l'invention on entend par projection fidèle le fait que les moyens optiques sont transparents dans la plage de longueur d'onde caractéristique de rayonnements thermiques humains. For the purposes of the invention, reliable projection means that the optical means are transparent in the wavelength range characteristic of human thermal radiation.

L'unité de conditionnement (8) des signaux issus de l'ensemble de radiométrie (2) extrait des informations numériques (17) sur la distribution spatiale de l'émission thermique de la scène thermique (4) à un instant donné, ou sur les variations de cette distribution dans le temps. The conditioning unit (8) of the signals from the radiometry unit (2) extracts digital information (17) on the spatial distribution of the thermal emission of the thermal scene (4) at a given moment, or on variations of this distribution over time.

L'unité de traitement de l'image (9) des images (17) en provenance de l'unité de conditionnement (8) identifie au moins une zone de rayonnement thermique particulier (18) et suit son évolution dans le temps. Au sens de l'invention on entend par zone de rayonnement particulier, une zone de pixels sur une image fournie à un instant donné par les moyens de radiométrie et de conditionnement de signaux, tels que les pixels constitutifs de cette zone présentent des caractéristiques communes. Des critères préférés mais non exclusifs concernent l'amplitude du signal en chaque pixel relativement aux pixels voisins, ou la dérivée spatiale du signal au voisinage d'un pixel, ou la dérivée temporelle du signal en chaque pixel, ou la combinaison de ces critères. Il doit être noté que selon l'invention, les zones de rayonnement thermique particulier identifiées par les moyens de traitement de l'image (9), ne sont ni prédéterminées, ni déterminées de manière définitive, ni relatives à des portions particulières et dénommables du corps humain, mais définies par lesdits moyens de traitement de l'image selon des critères quantitatifs, de manière à ce qu'au moins une des zones identifiées soit corrélée avec au moins une des parties caractéristiques de la scène thermique (4). The image processing unit (9) of the images (17) from the conditioning unit (8) identifies at least one particular heat radiation zone (18) and follows its evolution over time. Within the meaning of the invention, the term "particular radiation zone" means a zone of pixels on an image supplied at a given instant by the radiometry and signal conditioning means, such that the pixels constituting this zone have common characteristics. Preferred but non-exclusive criteria relate to the amplitude of the signal in each pixel relative to neighboring pixels, or the spatial derivative of the signal in the vicinity of a pixel, or the time derivative of the signal in each pixel, or the combination of these criteria. It should be noted that according to the invention, the zones of particular heat radiation identified by the image processing means (9) are neither predetermined nor definitively determined, nor relative to particular and denominatable portions of the image. human body, but defined by said image processing means according to quantitative criteria, so that at least one of the identified areas is correlated with at least one of the characteristic parts of the thermal scene (4).

L'unité de décision (10) extrait une estimation d'au moins un mouvement humain qui serait à l'origine de l'évolution d'au moins une des zones de pixels identifiées (18). Elle en déduit ensuite par association la commande (11) à adresser à la source d'affichage dynamique (12). L'estimation selon l'invention a été décrite plus tôt. Elle s'appuie par exemple sur des considérations telles que la forme géométrique des zones de pixels de rayonnement thermique particulier, ou la distribution d'intensité du rayonnement sur ces zones. Au sens de l'invention on entend par évolution toute translation, rotation, déformation, ou variation d'amplitude, dans le temps, d'une zone de pixels par rapport à elle-même, ou d'une zone par rapport à une ou plusieurs autres, ou d'une zone par rapport au cadre de l'image traitée. The decision unit (10) extracts an estimate of at least one human motion that would cause the evolution of at least one of the identified pixel areas (18). It then deduces by association the command (11) to be addressed to the dynamic display source (12). The estimation according to the invention has been described earlier. It relies, for example, on considerations such as the geometric shape of the zones of pixels of particular thermal radiation, or the distribution of intensity of the radiation on these zones. Within the meaning of the invention, evolution is understood to mean any translation, rotation, deformation, or amplitude variation, over time, of an area of pixels with respect to itself, or of a zone with respect to one or several others, or an area relative to the frame of the processed image.

Il est à noter que l'interface homme machine selon l'invention peut être configurée pour reconnaître tout type de mouvements de l'individu. Au sens de l'invention, on entend par mouvement un déplacement relatif d'une partie de l'individu par rapport audit dispositif, et/ou d'une partie de l'individu par rapport à une autre partie de lui-même, et/ou d'une partie d'un individu par rapport à une partie d'un autre individu. It should be noted that the human machine interface according to the invention can be configured to recognize any type of movement of the individual. Within the meaning of the invention, movement is understood to mean a relative displacement of a part of the individual with respect to said device, and / or of a part of the individual with respect to another part of himself, and / or part of an individual with respect to a part of another individual.

Des exemples particuliers mais non exclusifs de mouvements reconnus sont : - des mouvements relatifs de la tête par rapport audit dispositif, de type translation latérale, translation verticale, rapprochement ou éloignement, inclinaison sur l'avant ou l'arrière, inclinaison latérale, rotation latérale, ou la combinaison de plusieurs de ces mouvements (figure 6) ; - ou des mouvements relatifs des mains ou des doigts par rapport audit dispositif, de type translation ou rotation ou déformation ; - ou l'aboutissement de tels mouvements à une forme géométrique particulière, de type angle droit, rond, parallélépipède, ou tout autre forme géométrique simple ; - ou encore la combinaison de mouvements de la tête et/ou des mains et/ou des doigts, ceci de la part d'un ou plusieurs individus. Particular but not exclusive examples of recognized movements are: relative movements of the head relative to said device, of lateral translation, vertical translation, approximation or removal, inclination on the front or rear, lateral inclination, lateral rotation or the combination of several of these movements (Figure 6); or relative movements of the hands or fingers relative to said device, of translation or rotation or deformation type; or the culmination of such movements to a particular geometric shape, of right angle, round, parallelepiped, or any other simple geometrical shape; - Or the combination of movements of the head and / or hands and / or fingers, this from one or more individuals.

A partir des caractéristiques à la base de l'invention, on décrit ci- après différentes formes de réalisation de moyens constitutifs. From the characteristics on which the invention is based, various embodiments of constituent means are described below.

Les moyens radiométriques (2) d'imagerie passive en deux dimensions sont des capteurs de rayonnement thermique organisés sous forme de matrice à plan focal (Focal Plan Array) ou associés à des moyens de balayage optico-mécanique pour obtenir la résolution spatiale souhaitée. Toutes les technologies de radiométrie thermique sont compatibles avec le système de captation de mouvements humains selon l'invention. Parmi ces technologies, certaines reposent sur la mesure de flux de photons incidents, d'autres reposent sur la mesure de températures locales d'éléments intégrés dans les moyens radiométriques. Parmi ces technologies, certaines nécessitent un refroidissement alors que d'autres non. Une technologie préférée mais non exclusive met en oeuvre une matrice de microbolomètres placée dans le plan focal des moyens optiques, la réalisation de ces microbolomètres étant de préférence compatible avec une ligne industrielle CMOS afin de minimiser les coûts de fabrication. Il doit être noté que les moyens radiométriques (2) d'imagerie selon l'invention peuvent limiter leur acquisition à une plage restreinte de températures, et peuvent fournir une estimation non-linéaire et biaisée de la distribution spatiale de température de la scène thermique, dans une mesure que les moyens de traitement de l'image selon l'invention peuvent supporter. The two-dimensional passive imaging radiometric means (2) are thermal radiation sensors organized in the form of focal plane array (Focal Plan Array) or associated with optico-mechanical scanning means to obtain the desired spatial resolution. All thermal radiometry technologies are compatible with the human motion capture system according to the invention. Among these technologies, some rely on the measurement of incident photon flux, others rely on the measurement of local temperatures of elements integrated in the radiometric means. Some of these technologies require cooling while others do not. A preferred but non-exclusive technology uses a microbolometer matrix placed in the focal plane of the optical means, the production of these microbolometers being preferably compatible with a CMOS industrial line in order to minimize manufacturing costs. It should be noted that the radiometric imaging means (2) according to the invention can limit their acquisition to a restricted range of temperatures, and can provide a nonlinear and biased estimation of the spatial temperature distribution of the thermal scene, to a extent that the image processing means according to the invention can support.

Les moyens optiques (15) mis en oeuvre pour projeter sont réalisés dans des matériaux transparents aux rayonnements thermiques, et permettent ou non l'ajustement de la distance focale. Une solution préférée, mais non exclusive, consiste en une lentille de Fresnel en polyéthylène, dont les coûts de réalisation sont faibles. The optical means (15) used for projecting are made of materials transparent to thermal radiation, and allow or not the adjustment of the focal length. A preferred but not exclusive solution consists of a Fresnel lens made of polyethylene, the production costs of which are low.

Les moyens de traitement de l'image (9) selon l'invention peuvent par exemple mettre en oeuvre des techniques de seuillage et/ou des techniques de détection de contours, ces techniques ayant la particularité d'être peu exigeantes en termes de ressources matérielles et logicielles. The image processing means (9) according to the invention can for example implement thresholding techniques and / or edge detection techniques, these techniques having the particularity of being undemanding in terms of material resources. and software.

Il est à noter que le système de captation de mouvements humains selon l'invention ne se limite pas à une disposition relative particulière des trois éléments : partie (5) en mouvement de l'individu, source d'affichage (12) et yeux (13) de l'individu. Ainsi, dans certaines configurations : - la partie en mouvement de l'individu se trouve dans l'espace entre ses yeux et la source d'affichage, par exemple une main entre la tête et la source d'affichage ; - la source d'affichage se trouve dans l'espace entre ses yeux et la partie en mouvement de l'individu, par exemple une main cachée du champ de vision de l'individu par la source d'affichage, et éventuellement reproduite en temps réel sur cette dernière dans un esprit de transparence virtuelle et améliorée ; - la partie en mouvement de l'individu et ses yeux sont dans une zone confondue, par exemple lorsque les mouvements captés sont des mouvements de la tête. It should be noted that the system for capturing human movements according to the invention is not limited to a particular relative arrangement of the three elements: the moving part (5) of the individual, the display source (12) and the eyes ( 13) of the individual. Thus, in certain configurations: the moving part of the individual is in the space between his eyes and the display source, for example a hand between the head and the display source; the display source is in the space between its eyes and the moving part of the individual, for example a hidden hand of the individual's field of vision by the display source, and possibly reproduced in time real on the latter in a spirit of virtual transparency and improved; - The moving part of the individual and his eyes are in a confused area, for example when the captured movements are movements of the head.

Les avantages ressortent bien de la description. The advantages are apparent from the description.