FR2942345A1 - Dispositif et procede d'interpretation de gestes musicaux - Google Patents

Abstract

L'invention s'applique à un dispositif d'interprétation de gestes musicaux ou gestes agissant sur ou comme des instruments de musique. Des dispositifs de l'art antérieur permettent à un utilisateur de produire de la musique en effectuant des gestes sur un instrument adapté ou en accompagnement d'un contenu musical pré enregistré . Aucun dispositif de l'art antérieur n'est cependant suffisamment fiable et robuste pour assurer un rendu musical satisfaisant. L'invention procure un rendu musical remarquable grâce à l'utilisation de micro capteurs, en particulier des accéléromètres et des magnétomètres ou des gyromètres, et à un traitement adapté des signaux des micro capteurs. En particulier, le traitement utilise une fusion des données en sortie des micro capteurs pour éliminer les fausses alarmes constituées par les mouvements de l'utilisateur sans rapport avec la musique. La vélocité des frappes musicales est également mesurée par le dispositif de l'invention.

Description

DISPOSITIF ET PROCEDE D'INTERPRETATION DE GESTES MUSICAUX L'invention concerne le domaine de l'interprétation de gestes musicaux ou gestes agissant sur ou comme des instruments de musique. En particulier elle concerne un dispositif et un procédé de traitement des signaux représentatifs des mouvements d'un joueur de musique utilisant un instrument ou battant un rythme d'accompagnement. Des dispositifs et procédés à vocation ludique ou d'apprentissage ont été développés pour permettre à un joueur d'instrument de musique utilisant un objet qui simule ledit instrument d'en jouer une partition, le cas échéant couplée avec les partitions d'autres instruments. Les instruments dont l'interprétation est simulée peuvent être une guitare, un piano, un saxophone, une batterie.... Dans de tels dispositifs, les notes de la partition sont générées à partir d'actions du joueur. De tels dispositifs et procédés peuvent utiliser des boutons qui permettent de déclencher des notes, le cas échéant par combinaison des dits boutons. Certains dispositifs tels que la WIITM Music utilisent aussi une reconnaissance de certains gestes du musicien avec les pressions sur les boutons pour jouer la partition. Le capteur de mouvement de la WIITM Music étant un capteur optique qui nécessite une référence fixe, ses mesures sont à la fois conditionnées par la position du joueur par rapport à la référence et rudimentaires, ce qui limite considérablement les possibilités d'interprétation. Un rendu musical satisfaisant nécessite en effet une précision élevée de la capture des mouvements du joueur qui sont véritablement destinés à actionner l'instrument.

La présente invention apporte une réponse à ces limitations de l'art antérieur en utilisant des capteurs de mouvement et un traitement de leurs mesures qui permettent cette précision et autorisent ainsi un rendu musical satisfaisant.

A cet effet, la présente invention divulgue un dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée de mesures comprenant au moins un capteur de mouvements, un module de traitement de signaux échantillonnés en sortie du module d'entrée et un module de sortie apte à reproduire la signification musicale des dits gestes, ledit dispositif étant caractérisé en ce que le module de traitement des signaux comprend un sous module d'analyse et d'interprétation de gestes comprenant au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module, une fonction de détection de geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie. Avantageusement, la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente.

Avantageusement, le sous module d'analyse et d'interprétation de gestes comprend en outre une fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection. Avantageusement, la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés.

Avantageusement, le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre. Avantageusement, le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre.

Avantageusement, la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur. Avantageusement, la fonction de confirmation de détection de geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur. Avantageusement, le seuil choisi de la fonction de confirmation de détection de geste significatif est de l'ordre de 5/1000. Avantageusement, le module d'entrée ne transmet au module de traitement 35 que des signaux issus d'un capteur de type gyromètre.

Avantageusement, le module d'entrée reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif. Avantageusement, le module de traitement des signaux comprend un sous module d'entrée de contenus multimédia pré enregistrés.

Avantageusement, le sous module d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés. Avantageusement, le module d'entrée est apte à transmettre au module de traitement un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation.

L'invention divulgue également un procédé d'interprétation de gestes significatifs d'un utilisateur comprenant au moins une étape d'entrée de mesures en provenance d'au moins un capteur de mouvements, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, ledit procédé étant caractérisé en ce que l'étape de traitement de signaux comprend une sous étape d'analyse et d'interprétation de geste comprenant au moins un couple de deux filtrages récursifs passe-bas successifs d'au moins un des signaux, une fonction de détection de geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs dans l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie.

Un autre avantage de l'invention est qu'elle utilise des micro capteurs (accéléromètres et magnétomètres ou gyromètres) à bas coût. Elle peut être utilisée pour jouer avec les mains et/ou battre la mesure avec les pieds. Elle ne nécessite pas un apprentissage long et peut être utilisée par plusieurs joueurs. Elle peut être utilisée avec un grand nombre de mouvements et d'instruments. Elle peut également être utilisée sans objet simulant un instrument quelconque.

L'invention sera mieux comprise, ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont : La figure 1 représente différends contextes d'emploi de l'invention 10 selon plusieurs modes de réalisation ; La figure 2 représente de manière simplifiée une architecture fonctionnelle d'un dispositif d'interprétation de gestes musicaux selon un mode de réalisation de l'invention ; La figure 3 (3a, 3b) représente un organigramme général des 15 traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre; La figure 4 représente un organigramme du filtrage des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ; La figure 5 représente un organigramme de la détection de la 20 puissance des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ; La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre.

25 La figure 1 représente trois modalités 110, 120A et 120B d'entrée 10 de gestes musicaux dans un module de traitement 20 pour reproduction par une module de synthèse musicale 30. Sur la gauche de la figure 1 sont représentées de haut en bas les trois modalités d'entrée 10 de gestes musicaux: 30 - Un musicien 110 joue d'une guitare sur laquelle ont été fixés un ou plusieurs capteurs de mouvements tels que des MotionPodTM de MoveaTM; ce sont alors les mouvements de la guitare qui sont mesurés par les capteurs de mouvement et fournis à l'unité de traitement 20 ; Un musicien 120A porte directement des capteurs de mouvements du même type sur une partie du corps (main, avant-bras, bras, pied, jambe, cuisse, etc...) ; il peut jouer la partition d'un instrument ou simplement battre un rythme ; - Un musicien 120E peut également actionner une une GyroMouseTM ou bien une AirMouseTM de Movea qui est une télécommande en trois dimensions comprenant un gyromètre trois axes permettant de contrôler un point en déplacement sur un plan utilisé, offrant la possibilité d'utiliser soit les déplacements du point soit les mesures ~o d'un ou plusieurs axes gyromètres. Un MotionPod comporte un accéléromètre tri axe, un magnétomètre tri axe, une capacité de prétraitement permettant de préformer des signaux à partir des capteurs, un module de transmission radiofréquence des dits signaux au module de traitement lui-même et une batterie. Ce capteur de mouvement 15 est dit 3A3M (trois axes d'accéléromètre et trois axes de magnétomètre). Les accéléromètres et magnétomètres sont des microcapteurs du commerce de faible encombrement, de faible consommation et à bas coût, par exemple un accéléromètre trois voies de la société KionixTM (KXPA4 3628) et des magnétomètres d'HoneyWellTM de type HMC1041Z (1 voie verticale) et 20 HMC1042L pour les 2 voies horizontales. D'autres fournisseurs existent : MemsicTM ou Asahi KaseiTM pour les magnétomètres et STMTM, FreescaleTM, Analog DeviceTM pour les accéléromètres, pour ne citer que ceux là. Dans le MotionPod, pour les 6 voies signal, il n'y a qu'un filtrage analogique et ensuite, après conversion analogique numérique (12 bits), les signaux bruts 25 sont transmis par un protocole radiofréquence dans la bande BluetoothTM (2,4GHz) optimisé pour la consommation dans ce type d'applications. Les données arrivent donc brutes à un contrôleur qui peut recevoir les données d'un ensemble de capteurs. Elles sont lues par le contrôleur et mises a disposition des logiciels. La cadence d'échantillonnage est réglable. Par 30 défaut, elle est fixée à 200 Hz. Des valeurs plus élevées (jusqu'à 3000 Hz, voire plus) peuvent néanmoins être envisagées, permettant une plus grande précision dans la détection de chocs par exemple. Le protocole radiofréquence du MotionPod permet de garantir la mise a disposition de la donnée au contrôleur avec un retard contrôlé, qui ne doit pas dépasser ici 35 10ms (à 200 Hz), ce qui est important pour la musique.

Un accéléromètre du type ci-dessus permet de mesurer les déplacements longitudinaux selon ses trois axes et, par transformation, des déplacements angulaires (sauf autour de la direction du champ de gravitation terrestre) et des orientations par rapport à un référentiel cartésien en trois dimensions. Un ensemble de magnétomètres du type ci-dessus permet de mesurer l'orientation du capteur auquel il est fixé par rapport au champ magnétique terrestre et donc des déplacements et des orientations par rapport aux trois axes du référentiel (sauf autour de la direction du champ magnétique terrestre). La combinaison 3A3M fournit des informations de mouvement complémentaires et lissées. En fait, dans l'invention on n'exploite que les informations relatives à un des axes, l'axe Z vertical ou un des deux autres axes. On peut donc se contenter en principe d'un capteur mono axe de chacun des types, lorsque deux types de capteurs (accéléromètre et magnétomètre ou accéléromètre et gyromètre) sont utilisés. Dans la pratique, compte tenu de la disponibilité à faible coût de modules de capteurs 3A3M incorporant la transmission et les traitements des six voies, c'est cette approche qui est privilégiée. D'autres capteurs de mouvement peuvent être utilisés, par exemple une combinaison d'accéléromètre et de gyromètre (capteurs dits 3A3G ) ou même un gyromètre trois axes seul, comme expliqué plus bas dans la description en commentaire à d'autres figures. Lorsque plusieurs ensembles de capteurs de mouvement sont utilisés, le contrôleur distant du MotionPod (en entrée du module de traitement 20, 210) réalise la synthèse des signaux des ensembles de capteurs. Un compromis doit être trouvé entre le nombre de capteurs, la fréquence d'échantillonnage des capteurs et l'autonomie en consommation d'énergie des ensembles de capteurs. Dans la suite de la description, on désigne par signal de sortie de l'accéléromètre ou du magnétomètre au singulier indifféremment les sorties du contrôleur selon que les données d'entrée proviennent d'un seul module capteur 3A3M ou d'un ensemble de modules 3A3M synthétisées dans le contrôleur. La AirMouse comprend deux capteurs de type gyromètre, chacun à un axe de rotation. Les gyromètres utilisés sont de la marque Epson de référence XV3500. Leurs axes sont orthogonaux et délivrent les angles de tangage (yaw ou rotation autour de l'axe parallèle à l'axe horizontal d'un plan situé face à l'utilisateur de la AirMouse) et de lacet (pitch ou rotation autour d'un axe parallèle à l'axe vertical d'un plan situé face à l'utilisateur de la AirMouse). Les vitesses instantanées de pitch et de yaw mesurées par les deux axes gyromètres sont transmises par protocole radiofréquence à un contrôleur du module d'entrée (10) et converties par ledit contrôleur en mouvement d'un curseur dans un écran situé face à l'utilisateur. Dans l'application de l'invention on peut utiliser soit un des signaux de commande du curseur (en Z ou en Y), voire les deux, soit un signal de mesure directe en sortie d'un des axes gyromètres.

Les fonctionnalités et l'architecture du module de traitement 20 seront commentées en liaison avec la figure 2. Un module de sortie 30 reproduit les sons produits par la combinaison de contenus préenregistrés et la capture des gestes musicaux produits par le joueur par l'intermédiaire du module d'entrée 10. Il peut s'agir d'un simple haut-parleur ou d'un synthétiseur.

L'architecture fonctionnelle du dispositif de l'invention est décrite sur la figure 2. On ne revient pas sur les modules 10 et 30. Le module 20 réalise le traitement des signaux reçus du module d'entrée 10 20 au sein d'un module d'analyse et d'interprétation de gestes 210 dont les sorties sont fournies à un module de calcul des données de contrôle du contenu musical 230. Un contenu multimédia préenregistré est également fourni par un module 220 au module 230. Pour spécifier correctement l'algorithme d'analyse et d'interprétation de la 25 gestuelle musicale implanté dans le module 210, il est nécessaire de prendre en compte la spécificité de la dite gestuelle. En particulier, jouer un morceau de musique de 5 minutes par exemple en battant un tempo moyennement rapide à 120 bpm (beat per minute) se traduit par 600 battements effectués par l'utilisateur. Or, dans un contexte musical, une seule erreur se traduit par 30 une rupture de sens et une perte d'intérêt du dispositif. En cas de fausse alarme, le système détecte des battements inexistants, en cas de non détection évidemment le jeu du morceau est interrompu. Or, en situation d'interprétation musicale par battement de tempo, l'utilisateur adopte une gestuelle d'une part qui lui est propre, d'autre part admettant une certaine 35 variabilité à l'intérieur de sa gestuelle propre. De plus, des phénomènes physiologiques moteurs propres à l'humain, eux-mêmes dépendant de la vitesse de battement se superposent à cette variabilité (on a un mode quasi sinusoïdal à grande vitesse, mais avec de forts rebonds à vitesse lente). Ces constatations entraînent plusieurs conséquences : il faut utiliser des algorithmes atteignant une fidélité de l'ordre de 1 pour 1000, une valeur très élevée dans un contexte de variabilité peu connue (mouvement expressif humain) ; les seuls accéléromètres ne permettent pas à ce jour d'atteindre une telle performance, pour au moins deux raisons (rebonds en cas de w vitesse moyenne ou lente, difficulté à anticiper et donc à produire une information de puissance du mouvement correcte), d'où le choix effectué d'utiliser des capteurs bimodaux ; - les algorithmes de traitement doivent être très adaptables. De plus, il semble bien que le comportement de l'utilisateur dépend 15 directement de son interaction avec le contenu qu'il interprète. Il est donc nécessaire de prévoir un procédé en situation, c'est-à-dire en mettant le système humain dans une boucle action/perception incluant tous les aspects mis en jeu (contenu, cerveau et cognitif, gestuelle, actionneurs, capteurs...). Pour répondre à ces spécifications, le principe général de traitement mis en 20 oeuvre dans le module 210 a les deux caractéristiques suivantes : un traitement adaptatif pour éliminer les composantes des signaux présentant des variations lentes ( de l'ordre de la seconde); l'utilisation des sorties d'un capteur (un magnétomètre ou un gyromètre) pour détecter une frappe; 25 l'utilisation des sorties de l'autre capteur (l'accéléromètre ou une des mesures du gyromètre si ce capteur est utilisé seul), pour mesurer l'intensité de la frappe.

Le module 220 permet d'insérer des contenus préenregistrés de type MIDI 30 (Musical Instrument Digital Interface) venant d'un instrument de musique électronique, audio venant d'un lecteur (MP3 ù MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV ù WAVeform audio format, WMA ù Windows Media Audio, etc...), multimédia, images, vidéo, etc...par l'intermédiaire d'une interface adaptée. Les sorties du module 220 sont 35 fournies concurremment au module 210 (pour permettre une prise en compte des réactions du joueur de musique) et au module 230 pour être ensuite reproduites en sortie du dispositif de traitement.

Le module 230 permet d'effectuer la synthèse des gestes musicaux interprétés par le module 210 et des contenus préenregistrés en sortie du module 220. Le mode le plus simple consiste à jouer un fragment par exmple codé en MP3 ou de fichier midi (voire de fichier vidéo) chaque fois qu'une frappe est détectée par le module 210, qui va alors chercher séquentiellement les fragments dans le module 220. Ce mode permet de ~o nombreuses applications intéressantes. Il est beaucoup plus souple et puissant que 220 intègre un procédé tel que celui que nous avons divulgué dans la demande n° FR07/55244 ayant pour titre Système d'interprétation de musique assisté par ordinateur et ayant pour titulaire l'inventeur de la présente demande. Le dispositif divulgué dans cette invention comprend 15 deux mémoires dont l'une comprend les données musicales qui définissent la totalité des événements musicaux constituant le morceau de musique à interpréter et l'autre la séquence des actions nécessaires pour la reproduction des évènements musicaux stockés ainsi que des moyens d'établissement desdites informations musicales par comparaison des 20 données stockées dans la première mémoire des données musicales et la mémoire de la séquence des actions. Dans ce cas, l'utilisateur aura un contrôle complet sur ce qu'il veut jouer et quand, et sur ce qui est laissé à l'initiative de la machine (par exemple un accompagnement).

25 La figure 3 (découpée en 3a et 3b pour des raisons de lisibilité) représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre. Dans la suite de la description relative à cette figure, chaque fois que l'on emploie le mot magnétomètre, on désigne indifféremment un magnétomètre 30 ou un gyromètre. Tous les traitements sont effectués de manière logicielle dans le module 210.

Les traitements comprennent tout d'abord un filtrage passe-bas des sorties des capteurs des deux modalités (accéléromètre et magnétomètre) dont le 35 fonctionnement détaillé est explicité par la figure 4.

Ce filtrage des signaux en sortie du contrôleur des capteurs de mouvement utilise une approche récursive d'ordre 1. Le gain du filtre peut par exemple être fixé à 0,3. Dans ce cas, l'équation du filtre est donnée par la formule suivante : Output(z(n))=0.3*Input(z(n-1)) + 0.7*Output(z(n-1)) Où, pour chacune des modalités : z est la lecture de la modalité sur l'axe utilisé ; n est la lecture de l'échantillon courant ; n-1 est la lecture de l'échantillon précédent.

Le traitement comporte ensuite un filtrage passe-bas des deux modalités avec une fréquence de coupure inférieure à celle du premier filtre Cette fréquence de coupure inférieur résulte du choix d'un coefficient du deuxième filtre inférieur au gain du premier filtre. Dans le cas choisi dans l'exemple ci- dessus où le coefficient du premier filtre est de 0,3, le coefficient du deuxième filtre peut être fixé à 0,1. L'équation du deuxième filtre est alors (avec les mêmes notations que ci-dessus) : Output(z(n))=0.1 *Input(z(n-1)) + 0.9*Output(z(n-1)) Ensuite, le traitement comporte une détection d'un zéro de la dérivée du signal en sortie de l'accéléromètre avec la mesure du signal en sortie du magnétomètre. On pose les notations suivantes : A(n) le signal en sortie de l'accéléromètre dans l'échantillon n ; - AF1(n) le signal de l'accéléromètre en sortie du premier filtre récursif dans l'échantillon n ; AF2(n) le signal AF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n ; B(n) le signal du magnétomètre dans l'échantillon n ;. - BF1(n) le signal du magnétomètre en sortie du premier filtre récursif dans l'échantillon n ; BF2(n) le signal BF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n. Alors, l'équation suivante permet de calculer une dérivée filtrée du signal de 35 l'accéléromètre dans l'échantillon n: FDA(n) = AF1(n) û AF2(n-1) Un signe négatif du produit FDA(n) * FDA(n-1) indique un zéro de la dérivée du signal filtré de l'accéléromètre et détecte donc une frappe.

Pour chacun de ces zéros du signal filtré de l'accéléromètre, le module de traitement vérifie l'intensité de la déviation de l'autre modalité en sortie filtrée du magnétomètre. Si cette valeur est trop faible, la frappe est considérée non comme une frappe primaire mais comme une frappe secondaire ou ternaire et écartée. Le seuil permettant d'écarter les frappes non primaires dépend de l'amplitude attendue de la déviation du magnétomètre. Typiquement, cette valeur sera de l'ordre de 5/1000 dans les applications envisagées. Cette partie du traitement permet donc d'éliminer les frappes non significatives.

Enfin, pour toutes les frappes primaires détectées, le module de traitement 15 calcule un signal de vélocité (ou volume) de la frappe en utilisant la déviation du signal filtré en sortie du magnétomètre. On introduit la valeur DELTAB(n) dans l'échantillon n qui peut être considérée comme le signal pré filtré du magnétomètre centré et qui est calculée de la manière suivante : 20 DELTAB(n) = BF1(n) û BF2(n) Les valeurs minimum et maximum de DELTAB(n) sont stockées entre deux frappes primaires détectées. Une valeur acceptable VEL(n) de la vélocité d'une frappe primaire détectée dans un échantillon n est alors donnée par l'équation suivante : 25 VEL(n) = Max {DELTAB(n), DELTAB(p)} û Min {DELTAB(n), DELTA(p)} Où p est l'indice de l'échantillon dans lequel a été détectée la frappe primaire précédente. La vélocité est donc la course (différence Max-Min) de la dérivée du signal entre deux frappes primaires détectées, caractéristiques de gestes significatifs au plan musical. 30 Cette partie du traitement est illustrée par la figure 5.

On réalise ainsi un traitement adaptatif car le traitement de la modalité magnétique inclut un centrage du signal. Au signal lui-même on soustrait ses propres variations lentes (voir formule plus haut). Ainsi par exemple, si 35 l'utilisateur se tourne de 60° vers sa droite, les signaux magnétiques reçus seront décalés, mais l'offset correspondant sera retiré par la soustraction en question, ne gardant que les variations rapides dues au rythme musical.

Ce traitement selon l'invention permet d'interpréter sans une seule erreur des morceaux de quelques minutes, avec un contrôle fin à la fois de la vitesse et du volume de jeu, aussi bien lorsque les capteurs sont placés sur la main du joueur ou lorsqu'ils sont situés sur le pied d'un joueur qui bat la mesure avec son pied. Le dispositif de l'invention peut être utilisé tel quel, c'est-à-dire sans aucune calibration, même des magnétomètres (on ne travaille en fait que sur des signaux débarrassés des composantes continues). Il peut cependant être avantageux d'effectuer une calibration en début de jeu, calibration qui peut d'ailleurs être reconduite à chaque frappe. Il faut alors mettre en parallèle le filtrage ayant pour objet de s'affranchir des variations lentes, et cette calibration à chaque frappe. Dans ce cas, il n'est plus nécessaire de filtrer par le second filtre. Au contraire, le fait de calibrer va assurer que dans une position à peu près connue de l'utilisateur (au moment de la frappe) le magnétomètre fournit une donnée de référence grâce à la calibration. En quelque sorte, les données sont réalignées par ces calibrations, alors qu'elles l'étaient auparavant par le second filtrage. On peut aussi imaginer de cumuler le deuxième filtrage et la calibration.

Par ailleurs, l'ensemble de ces traitements fournit : un signal de déclenchement utilisable pour synchroniser le jeu d'un fichier MIDI, ou pour synchroniser le défilement d'un fichier audio de type MP3, WAV ou WMA, selon un procédé inventif faisant l'objet d'une autre demande de brevet des présents demandeurs, ayant pour titre DISPOSITIF ET PROCEDE DE CONTROLE DU DEFILEMENT D'UN FICHIER DE SIGNAUX A REPRODUIRE ; selon ce procédé, le fichier de musique pré enregistré est marqué par des tags qui indiquent les éléments de rythme auxquels un joueur va envoyer des frappes de synchronisation ; un module de synchronisation fait ensuite varier la vitesse de défilement du fichier audio préenregistrée en fonction de la variation du rythme des frappes du joueur ; un signal d'amplitude, qui peut être utilisé pour commander le volume d'une lecture MIDI (plutôt en général, la vélocité des notes jouées) ou le volume de lecture d'un fichier audio.

La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre. On utilise par exemple comme dispositif d'entrée la AirMouse ou la GyroMouse de Movea (joueur 120B de la figure 1). Le traitement effectué dans le module 210 est comparable au traitement décrit ci-dessus, sauf que nous n'utilisons plus qu'une seule donnée capteur dont on peut en effet considérer de manière approchée qu'elle est physiquement à mi chemin entre la donnée accéléromètre et la donnée magnétomètre qui fournit des angles absolus. Le gyromètre est ici utilisé dans les deux détections : celle de la frappe primaire, avec un traitement comparable à celui de l'accéléromètre plus haut, sauf que le second filtrage n'est pas nécessaire, car un premier filtrage est déjà effectué dans la AirMouse ou la GyroMouse. Les deux filtrages peuvent cependant être cumulés. On détecte ici des croisements entre la dérivée du signal issu de la AirMouse et ce même signal filtré passe bas récursivement. La détection de puissance du geste s'appuie aussi sur une mesure de la course entre deux frappes primaires successives détectées. Ce calcul de vélocité donne des résultats utilisables, mais moins efficace que l'approche à deux modalités. Du fait de la nature intermédiaire entre mesures d'un accéléromètre et mesures d'un magnétomètre des mesures du gyromètre, celui-ci est suffisant pour les deux détections, mais il est moins efficace également que les modalités dédiées. Cette solution réalise un compromis non optimal mais qui peut donner d'autres opportunités. D'une part, la AirMouse est plus accessible au moins pour l'instant au grand public et présente donc un intérêt de ce point de vue même si on n'a pas la finesse de contrôle de la bimodalité. En quelque sorte la Airmouse se situe entre la Wii Music et un capteur fournissant deux modes de capture du mouvement. Par ailleurs, les boutons de la souris fournissent des commandes complémentaires afin, par exemple de changer un son, ou de passer au morceau suivant, ou d'actionner la pédale d'un piano échantillonné par exemple.

Les divers modes de réalisation de l'invention peuvent être améliorés par les variantes exposés ci-dessous.

Une variante de réalisation consiste à utiliser deux modules capteurs dans chacune des mains du joueur, un des modules étant dédié à la détection des frappes primaires et l'autre à la mesure de la vélocité. Il est également possible d'exploiter les autres axes des capteurs pour déterminer une information de cap qui permette d'introduire un contrôle du panoramique et d'améliorer ainsi le centrage pour rendre les détections complètement indépendantes du positionnement du joueur. Une autre variante de réalisation permettant d'améliorer la robustesse 15 consiste à exploiter la connaissance du contenu musical en cours. On introduit alors des fenêtres temporelles déduites du contenu en cours dans lesquelles une frappe détectée comme primaire n'est pas prise en compte car incohérente avec ledit contenu en cours. En fait, cette cohérence va exploiter une mesure de la vitesse de jeu actuelle de la personne (le temps 20 entre les deux dernières frappes) et la comparer au temps s'écoulant entre les deux fragments contenus dans le module 220. Si ces deux mesures diffèrent trop (par exemple de plus de 25 %) c'est qu'on enregistre une accélération (ou une décélération) qui semble excessive par rapport à ce qui est joué. On en déduit qu'il y a une fausse détection. Quand une telle fausse 25 détection est identifiée, elle correspond en fait toujours à une frappe dénuée de sens musical, ce dont on déduit qu'il s'agit d'une détection intempestive. Elle est donc purement et simplement ignorée (elle ne déclenche aucun fragment multimédia). Inversement, une non détection peut être palliée simplement, les éléments rythmés du morceau étant joués en exploitant les 30 deux dernières frappes détectées. Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent.

Claims (15)

1. REVENDICATIONS1. Dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée (10) de mesures comprenant au moins un capteur de mouvements, un module de traitement (20) de signaux échantillonnés en sortie du module d'entrée et un module de sortie (30) apte à reproduire la signification musicale des dits gestes, ledit dispositif étant caractérisé en ce que le module de traitement des signaux (20) comprend un sous module d'analyse et d'interprétation de gestes (210) comprenant au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module (10), une fonction de détection de 15 geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie. 20
2. 2. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur 25 courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente.
3. 3. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le sous module d'analyse et d'interprétation de gestes (210) comprend en outre une fonction de mesure de la vélocité 30 du geste détecté en sortie de la fonction de confirmation de détection.
4. 4. Dispositif d'interprétation de gestes selon la revendication 3 caractérisé en ce que la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés.
5. 5. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre.
6. 6. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre.
7. 7. Dispositif d'interprétation de gestes selon la revendication 2 et la revendication 6 caractérisé en ce que la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur.
8. 8. Dispositif d'interprétation de gestes selon la revendication 6 caractérisé en ce que la fonction de confirmation de détection de 15 geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur.
9. 9. Dispositif d'interprétation de gestes selon la revendication 8 caractérisé en ce que le seuil choisi de la fonction de confirmation de 20 détection de geste significatif est de l'ordre de 5/1000.
10. 10. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée (10) ne transmet au module de traitement (20) que des signaux issus d'un capteur de type gyromètre. 25
11. 11. Dispositif d'interprétation de gestes selon la revendication 3 caractérisé en ce que le module d'entrée (10) reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de 30 détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif.
12. 12. Dispositif d'interprétation de gestes selon la revendication 1 35 caractérisé en ce que le module de traitement des signaux (20)comprend un sous module (220) d'entrée de contenus multimédia pré enregistrés.
13. 13. Dispositif d'interprétation de gestes selon la revendication 12 caractérisé en ce que le sous module (220) d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés.
14. 14.Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée (10) est apte à transmettre au module de traitement (20) un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation.
15. 15. Procédé d'interprétation de gestes significatifs d'un utilisateur 15 comprenant au moins une étape d'entrée de mesures en provenance d'au moins un capteur de mouvements, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, ledit procédé étant caractérisé en ce que l'étape de traitement de signaux 20 comprend une sous étape d'analyse et d'interprétation de geste comprenant au moins un couple de deux filtrages récursifs passe-bas successifs d'au moins un des signaux, une fonction de détection de geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs dans 25 l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie.