FR3053495A1

FR3053495A1 - Interface neuronale directe a decodage continu utilisant un melange markovien d'experts

Info

Publication number: FR3053495A1
Application number: FR1656246A
Authority: FR
Inventors: Marie-Caroline SCHAEFFER; Tetiana Aksenova
Original assignee: Commissariat a lEnergie Atomique CEA; Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Current assignee: Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date: 2016-06-30
Filing date: 2016-06-30
Publication date: 2018-01-05
Anticipated expiration: 2036-06-30
Also published as: FR3053495B1; US10832122B2; US20180005105A1

Abstract

L'invention concerne une méthode de décodage continu de mouvement pour une interface neuronale directe. La méthode de décodage estime une variable de mouvement à partir d'une variable d'observation obtenue par une transformation temps-fréquence des signaux neuronaux. La variable d'observation est modélisée par un modèle HMM (140) dont les états cachés comprennent au moins un état actif et un état de repos. La variable de mouvement est estimée par un mélange markovien d'experts (120), chaque expert étant associé à un état du modèle. Pour une séquence de vecteurs d'observation, on estime la probabilité que le modèle soit dans un état donné et l'on en déduit un coefficient de pondération (150) pour la prédiction générée par l'expert associé à cet état. La variable de mouvement est ensuite estimée par combinaison (130) des estimations des différents experts au moyen de ces coefficients de pondération.

Description

Titulaire(s) : COMMISSARIAT A L'ENERGIE ATOMIQUE ET AUX ENERGIES ALTERNATIVES Etablissement public.

Demande(s) d’extension

Mandataire(s) : BREVALEX.

104) INTERFACE NEURONALE DIRECTE A DECODAGE D'EXPERTS.

CONTINU UTILISANT UN MELANGE MARKOVIEN

FR 3 053 495 - A1 (£/) L'invention concerne une méthode de décodage continu de mouvement pour une interface neuronale directe. La méthode de décodage estime une variable de mouvement à partir d'une variable d'observation obtenue par une transformation temps-fréquence des signaux neuronaux. La variable d'observation est modélisée par un modèle HMM (140) dont les états cachés comprennent au moins un état actif et un état de repos. La variable de mouvement est estimée par un mélange markovien d'experts (120), chaque expert étant associé à un état du modèle. Pour une séquence de vecteurs d'observation, on estime la probabilité que le modèle soit dans un état donné et l'on en déduit un coefficient de pondération (150) pour la prédiction générée par l'expert associé à cet état. La variable de mouvement est ensuite estimée par combinaison (130) des estimations des différents experts au moyen de ces coefficients de pondération.

i

INTERFACE NEURONALE DIRECTE À DÉCODAGE CONTINU UTILISANT UN MÉLANGE MARKOVIEN D'EXPERTS

DESCRIPTION

DOMAINE TECHNIQUE

L'objet de la présente invention concerne le domaine des interfaces neuronales directes encore dénommées BCI (Brain Computer Interface) ou BMI (Brain Machine Interface). Elle trouve notamment à s'appliquer à la commande neuronale directe d'une machine, telle qu'un exosquelette ou un ordinateur.

ÉTAT DE LA TECHNIQUE ANTÉRIEURE

Les interfaces neuronales directes utilisent les signaux électro-physiologiques émis par le cortex cérébral pour élaborer un signal de commande. Ces interfaces neuronales ont fait l'objet de nombreuses recherches notamment dans le but de restaurer une fonction motrice à un sujet paraplégique ou tétraplégique à l'aide d'une prothèse ou d'une orthèse motorisée.

Les interfaces neuronales peuvent être de nature invasive ou non invasive. Les interfaces neuronales invasives utilisent des électrodes intracorticales (c'est-à-dire implantées dans le cortex) ou des électrodes corticales (disposées à la surface du cortex) recueillant dans ce dernier cas des signaux électrocorticographiques (ECoG). Les interfaces neuronales non invasives utilisent des électrodes placées sur le cuir chevelu pour recueillir des signaux électroencéphalographiques (EEG). D'autres types de capteurs ont été également envisagés comme des capteurs magnétiques mesurant les champs magnétiques induits par l'activité électrique des neurones du cerveau. On parle alors de signaux magnétoencéphalographiques (MEG).

Les interfaces neuronales directes utilisent avantageusement des signaux de type ECoG, présentant l'avantage d'un bon compromis entre biocompatibilité (matrice d'électrodes implantées à la surface du cortex) et qualité des signaux recueillis.

Les signaux ECoG ainsi mesurés doivent être traités afin d'estimer la trajectoire du mouvement désiré par le sujet et en déduire les signaux de commande de l'ordinateur ou de la machine. Par exemple, lorsqu'il s'agit de commander un exosquelette, l'interface BCI estime la trajectoire du mouvement désiré à partir des signaux électro-physiologiques mesurés et en déduit les signaux de contrôle permettant à l'exosquelette de reproduire la trajectoire en question. De manière similaire, lorsqu'il s'agit de commander un ordinateur, l'interface BCI estime par exemple la trajectoire souhaitée d'un pointeur ou d'un curseur à partir des signaux électro-physiologiques et en déduit les signaux de commande du curseur/pointeur.

L'estimation de trajectoire, et plus précisément celle des paramètres cinématiques (position, vitesse, accélération) est encore dénommée décodage neuronal dans la littérature. Le décodage neuronal permet notamment de commander un mouvement (d'une prothèse ou d'un curseur) à partir de signaux ECoG.

Lorsque les signaux ECoG sont acquis en continu, l'une des principales difficultés du décodage réside dans le caractère asynchrone de la commande, autrement dit dans la discrimination des phases pendant lesquelles le sujet commande effectivement un mouvement (périodes actives) des phases où il n'en commande pas (périodes de repos).

Pour contourner cette difficulté, des interfaces neuronales directes, dites synchrones, ne donnent la possibilité de commander un mouvement que pendant des fenêtres temporelles bien déterminées (par exemple des intervalles de temps se succédant périodiquement), signalées au sujet par un indice extérieur. Le sujet ne peut alors commander le mouvement que pendant ces fenêtres temporelles, ce qui s'avère prohibitif dans la plupart des applications pratiques.

Plus récemment, des interfaces neuronales directes à décodage continu ont été proposées dans la littérature. L'article de M. Velliste et ol. intitulé « Motor cortical correlates of arm resting in the context of a reaching task and implications for prosthetic control » publié dans The Journal of Neuroscience, 23 avril 2014, 34(17), pp. 6011-6022, décrit notamment une interface neuronale directe dans laquelle les périodes de repos (idle State) sont détectées par LDA (Linear Discriminant Analysis) à partir de la fréquence d'émission des potentiels d'action (neuron firing rate). Les paramètres cinématiques sont estimés pendant les périodes actives au moyen d'un modèle à transition d'états, les états étant prédits au moyen d'un filtre dit de Laplace-Gauss. Toutefois, les résultats ont été obtenus pour des matrices de micro-électrodes et n'ont pu être reproduits pour des électrodes corticales classiques. En outre, les commutations entre les périodes de repos et les périodes actives se traduisent par des discontinuités dans le décodage du mouvement et donc des à-coups le long de la trajectoire.

Une autre approche a été proposée dans l'article de L. Srinivasam et ol. intitulé « General-purpose filter design for neural prosthetic devices » publié dans J. Neurophysiol. Vol 98, pp. 2456-2475, 2007. Cet article décrit une interface neuronale directe à décodage continu dans laquelle la séquence des états actifs et des états de repos est générée par un modèle markovien du 1^er ordre. Un filtre de Kalman commuté ou SKF (Switching Kalman Filter) dont les matrices d'observation et les matrices de transitions dépendent de la variable de commutation cachée (état actif/ état de repos) permet d'estimer les paramètres cinématiques du mouvement. Ce type d'interface neuronale directe a été utilisé pour commander une chaise roulante à partir de signaux EEG sur la base de données de simulation mais n'a pas été testé pour des signaux ECoG. En outre, la détection d'état (état actif/ état de repos) est quelquefois erronée (taux élevé de faux positifs et faux négatifs).

Enfin, les interfaces neuronales directes précitées ont été développées pour décoder le mouvement d'un seul membre d'un sujet. Elles ne sont donc pas adaptées à la commande d'un exosquelette à plusieurs membres, notamment pour un sujet tétraplégique, paraplégique ou hémiplégique, ce qui limite sensiblement leur champ d'application.

Le but de la présente invention est par conséquent de proposer une méthode de décodage continu de mouvement pour interface neuronale directe, qui présente un faible taux de fausse détection d'état actif et qui permette un décodage sans discontinuité du mouvement à partir des signaux ECoG d'un sujet. Un autre but de la présente invention est de permettre un décodage du mouvement de plusieurs membres à partir des signaux ECoG d'un sujet.

EXPOSÉ DE L'INVENTION

La présente invention est définie par une méthode de décodage continu de mouvement pour une interface neuronale directe acquérant des signaux neuronaux au moyen d'une pluralité d'électrodes, caractérisée en ce que, l'on estime une variable de commande, y(z), représentant des variables cinématiques du mouvement, au moyen d'un mélange d'experts, chaque expert étant associé à un des états cachés d'un modèle HMM modélisant une variable d'observation représentée par un vecteur d'observation, x(r), le modèle HMIVI comprenant au moins un état actif et un état de repos, ladite méthode comprenant :

- une phase de calibration pour estimer les paramètres du modèle HMM et d'un paramètre de prédiction linéaire de chaque expert ;

- un prétraitement des signaux neuronaux, ledit traitement incluant une transformation temps-fréquence sur une fenêtre d'observation glissante, pour obtenir une séquence de vecteurs d'observation x[l : t]

- une estimation (230) des coefficients de mélange ( ,K ) des différents experts à partir de la probabilité de ladite séquence de vecteurs d'observation ( P(x[l : z]) ) et de la probabilité des états respectivement associés à ces experts compte tenu de ladite séquence (P[z_k(t) = l,x M));

- une estimation par chaque expert, , de ladite variable de mouvement à partir du vecteur d'observation (x(r) ) courant et du paramètre de prédiction linéaire dudit expert;

- une combinaison des estimations des différents experts au moyen des coefficients de mélange pour fournir une estimation de la variable de commande.

Selon une variante de réalisation, les états cachés du modèle HMM comprennent, pour chaque élément d'une pluralité d'éléments respectivement commandés par une composante de la variable de mouvement, un état actif pendant lequel ledit élément est mû et un état de repos pendant lequel ledit élément est au repos.

Les états cachés du modèle HMM peuvent en outre comprendre, pour chacun desdits éléments, un état de préparation de mouvement succédant immédiatement à un état de repos et précédant immédiatement un état actif dudit élément.

Avantageusement, pendant la phase de calibration, les paramètres du modèles HMM et les paramètres linéaires des experts sont obtenus à partir d'une séquence de vecteurs d'observation et d'une séquence de mesures de la variable de mouvement, selon une méthode d'apprentissage supervisée.

Les paramètres linéaires des experts sont obtenus au moyen d'une régression des moindres carrés partiels, voire au moyen d'une régression des moindres carrés partiels généralisée.

Alternativement, pendant la phase de calibration, les paramètres du modèles HMM et les paramètres linéaires des experts sont obtenus à partir d'une séquence de vecteurs d'observation et d'une séquence de mesures de la variable de mouvement, selon une méthode d'apprentissage semi-supervisée.

Dans ce cas, les paramètres linéaires des experts peuvent être obtenus au moyen d'un algorithme espérance-maximisation.

La transformation temps-fréquence est avantageusement une décomposition en ondelettes.

Le coefficient de mélange g_k(t) associé à l'expert (ζ est obtenu par Ρ(ζ_λ,χ[ΐ:ί]) e,(i)=-———- où P x l:/ est la probabilité d'observation de la séquence de

P(x[l:i]) ^{v L} vecteurs d'observation et P(z_i.,x[l:/]) est la probabilité de l'état associé à l'expert compte tenu de la séquence observée, les probabilités p(x[l:/]) et P^z_k,x[l : /]) étant obtenues au moyen d'un algorithme forword.

Avantageusement, l'estimation ÿ_k (i) de la variable de mouvement par l'expert est obtenue par ÿ_k (f) =β_Λχ(ί) où β_ζ est une matrice de taille NxM où M est la dimension des vecteurs d'observation et N la dimension de la variable de commande. Les signaux neuronaux sont typiquement des signaux électro-corticaux (signaux

ECoG).

BRÈVE DESCRIPTION DES DESSINS

D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture d'un mode de réalisation préférentiel de l'invention, en faisant référence aux figures jointes parmi lesquelles :

La Fig. 1 représente schématiquement le principe d'un décodage continu de mouvement par mélange markovien d'experts utilisé dans la présente invention ;

La Fig. 2 représente sous forme d'ordinogramme la méthode d'un décodage continu de mouvement pour interface neuronale directe, selon un mode de réalisation de la présente invention ;

La Fig. 3 représente des exemples de décodage continu de mouvement selon différentes méthodes de l'art antérieur et selon la méthode de la Fig. 2.

EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS

Nous considérerons dans la suite une interface neuronale directe à décodage continu de mouvement au sens défini plus haut. Le décodage est continu au sens où il est effectué au fil du temps sans être synchronisé sur un stimulus extérieur. L'interface acquiert des signaux neuronaux, typiquement des signaux ECoG, à partir d'une matrice d'électrodes préalablement implantées à la surface corticale d'un sujet. L'interface neuronale directe sert à décoder le mouvement à partir des signaux neuronaux de manière à commander le mouvement d'un élément externe. Par le terme « élément externe », on entend de manière non limitative, tout ou partie d'une prothèse, d'une orthèse, d'un exosquelette, d'une chaise roulante, d'un effecteur. On entend également, de manière non limitative, un symbole visuel tel qu'un curseur ou une icône dont le mouvement est habituellement contrôlé par une interface HMI (Human Machine Interface).

Les signaux neuronaux acquis par l'interface subissent un prétraitement (détaillé plus loin) pour fournir une variable d'observation de dimension M dépendant du temps, notée x(r) où /e N est un temps discrétisé. Cette variable représente une observation des caractéristiques des signaux neuronaux mesurés, à partir de laquelle il est possible d'estimer les paramètres cinématiques. Par paramètres cinématiques, on entend notamment la position, la vitesse et/ou l'accélération le long de la trajectoire.

L'idée à la base de l'invention est de décoder le mouvement au moyen d'un mélange markovien d'experts. L'estimation par mélange markovien d'experts ou MME (Markov Mixture of Experts) repose sur un modèle markovien caché ou HMM (Hidden Markov Model), un estimateur (dénommé expert) étant associé à chaque état caché du modèle. On trouvera une présentation d'une méthode d'estimation par mélange markovien d'experts dans l'article de M. Meila et al. intitulé « Learning fine motion by Markov mixtures of experts » publié dans Advances in Neural Information Processing Systems 8 (1567), pp. 1003-1009.

La Fig. 1 représente schématiquement le principe d'un décodage continu de

0 mouvement par mélange markovien d'experts.

Le mélange markovien d'experts fait intervenir, d'une part, un automate à états cachés (ou modèle HMM), 140, pouvant prendre K états possibles et, d'autre part, une pluralité K d'estimateurs, 120, chaque estimateur étant associé à un état caché.

Les estimations des différents experts sont combinées dans un module de

5 combinaison (gating network), 130, pour donner une estimation, ÿ(r) de la variable à expliquer, y(r), ici les paramètres cinématiques du mouvement, à partir de l'observation x(r) représentant les caractéristiques des signaux neuronaux à l'instant t, captés au moyen des électrodes 105. Dans la suite, la variable d'entrée x(r) est supposée de dimension M et la réponse y(r) est supposée de dimension N .

Le mélange d'experts suppose que l'espace de départ, c'est-à-dire l'espace X dans lequel la variable d'entrée prend ses valeurs peut être partitionné en une pluralité

K

K de régions, c'est-à-dire X .A chaque région 2Ç correspond un modèle de *=i prédiction de la variable y(r) par la variable x(r) Le modèle de prédiction ou expert est 5 défini par une fonction locale f_k de la région 2Ç de l'espace de départ X vers l'espace d'arrivée Y .

Dans un mélange d'experts classique (ME), on modélise la dépendance de la variable y(r) en fonction de x(r) sur l'ensemble de l'espace de départ, autrement dit la variable à expliquer est supposée suivre le modèle:

γ(0=Σ^)Λ(^χ(ϋ)+η<>) (i) *=1 où z_k(t) = 1 lorsque la variable y(r) est générée par le modèle f_k (et z_k(t) = 0 sinon) et où η(ί) est un vecteur de bruit de taille N supposé ici Gaussien.

L'estimation de la variable à expliquer peut se décomposer sous la forme suivante :

y(i) = E(y(f)|x(i)) =y£(y(i),z,(f) = l|x(f)) =X/>(z_t(i) =l|x(f))E(y(f)|x(i),z,(i) =1) *=1 *=1

0 (2) Autrement dit :

ÿ(/) = £(y (/) |x(/)) = ^g_k (t)ÿ_k (t) k=l (3) où y_k(t) = p(y(/)|x(i),z_k(t) = l) est l'estimation réalisée par l'expert (ξ et g_k(t) = p(z_k(t) = l|x(/)), sont les coefficients du mélange. Le coefficient g_k(t) exprime la probabilité conditionnelle que la variable à expliquer ait été générée par le modèle f_k(t) sachant que x(i) a été observée. Les coefficients de pondération (ou coefficients de mélange) vérifient la propriété :

Σ^)=1 (4) *=i

Les coefficients de mélange g_k(t) sont estimés par le module 150 à partir de la séquence de vecteurs d'observation comme expliqué plus loin. Ces coefficients de mélange sont fournis au module de combinaison 130.

Les modèles f_k des experts sont avantageusement choisis linéaires, autrement dit /_λ(χ(ί)) = β_λχ(ί) où P^est une matrice de taille NxM . Dans ce cas, l'estimation par mélange d'experts s'écrit simplement :

γ(ο=Σ^^^χ^ (5) *=1

On suppose maintenant que la séquence d'observations x[l:r] ={x(l),x(2),...,x(r)} est modélisée par un processus markovien sous-jacent, de premier ordre à émission continue. A chaque instant t, l'automate à états cachés peut prendre K états distincts correspondant respectivement aux cas z_k(t) = 1 , k -Ι,.,.,Κ . L'état de l'automate à l'instant t dépend de son état à l'instant précédent, i-1, (modèle markovien d'ordre 1) ainsi que de la probabilité de transition entre ces états. La séquence d'états cachés est par conséquent entièrement caractérisée par les probabilités initiales d'occupation des différents états cachés et de la matrice des ίο probabilités de transition entre états. La distribution de probabilité de la variable d'observation x(r) à l'instant t dépend uniquement de l'état _z(t) de l'automate HMM à cet instant. La probabilité conditionnelle Ρ(χ(ί)|ζ(θ) de la variable d'observation est appelée probabilité d'émission (émission probobility). Les probabilités que l'automate soit initialement dans les K différents états, les probabilités de transition entre états et les probabilités d'émission sont appelées paramètres du modèle HMM.

Dans un mélange markovien d'experts, on suppose que les coefficients du mélange dépendent de la séquence d'observations x[l : t], autrement dit :

_A(i) = />(z_t(0=l|x[l:(]) (6)

Les coefficients du mélange peuvent être déterminés au moyen de la règle de

Bayes :

Τ’(r) — l|x[l :/])— (7) où les probabilités p(x[l:i]) et P U(o=i, x[l : i]) peuvent être obtenues de manière récursive par l'algorithme forword, à partir des paramètres du modèle HMM, de manière connue en soi.

Les paramètres du modèle HMM et les paramètres β_ζ des différents experts peuvent être estimés lors d'une phase de calibration, au moyen d'une méthode d'estimation supervisée ou semi-supervisée.

Une méthode d'estimation supervisée peut être mise en œuvre si l'on dispose d'un ensemble complet de données d'apprentissage, à savoir d'une séquence d'observations (séquence de caractéristiques des signaux neuronaux), x[l:i], de la séquence de paramètres cinématiques y[l:i], ainsi que de la séquence des états correspondants

L'automate HMM et les K experts sont alors entraînés indépendamment les uns des autres. Par exemple la matrice de probabilités de transition entre états de l'automate HMM peut être estimée en comptant les fréquences de transitions entre états dans la séquence d'apprentissage z[l : /]. De même, les probabilités d'émission de l'automate HMM peuvent être estimées à partir des séquences z[l:i] et x[l:i]. L'expert peut être entraîné sur la base des sous-séquences pertinentes{xj et {yj extraites respectivement de x[l:/] et y[l :/] où {x_t} = {x_T e x[l : ί]|ζ_λ (r) = l} et {y_t} = |y_r g x[i : î]|_Z(t (7) = i}. La matrice β_ζ peut être estimée par régression linéaire ou par régression PLS linéaire sur ces sous-séquences. Alternativement, la matrice β_ζpeut être obtenue par régression PLS multivariée ou NPLS (N-way PLS) à partir de ces sous-séquences. On trouvera une description détaillée de la méthode de régression NPLS dans la thèse de R. Bro intitulée « Multi-way analysis in the food industry : models, algorithms and applications », 1998. La méthode PLS multivariée a été appliquée au calcul du modèle prédictif des trajectoires dans une interface BCI comme décrit dans l'article de A. Eliseyev et T. Aksenova intitulé « Recursive N-Way Partial Least Squares for Brain-Computer Interface » publié dans PLOS One, Juillet 2013, vol. 8, n° 7, e69962.

Une méthode d'estimation semi-supervisée peut être mise en oeuvre lorsque les séquences x[l:î], y [l : f] et z[l:r] ne sont que partiellement connues. Dans ce cas, les paramètres de l'automate HMM et les matrices β_ζ des experts peuvent être estimés à partir d'un algorithme espérance-maximisation (Expectation-Maximization).

Quelle que soit la méthode d'apprentissage mise en oeuvre pendant la phase de calibration, il est important de noter que la méthode de décodage continu repose sur une définition particulière des états de l'automate HMM. Avantageusement, ces états comprendront un état de repos, un état actif et, optionnellement, un état de préparation du mouvement. Dans l'état de repos, le sujet ne commande pas l'élément externe (par exemple prothèse, curseur). A l'inverse, dans l'état actif, le sujet commande le mouvement de cet élément. L'état préparatoire est un état précédant immédiatement l'état actif et succédant immédiatement à l'état de repos, pendant lequel les caractéristiques des signaux neuronaux ne sont ni ceux de l'état de repos ni ceux de l'état actif.

Lorsque l'interface neuronale directe doit commander le mouvement de plusieurs éléments externes (par exemple plusieurs membres d'un exosquelette), les états de l'automate HMM comprennent les états précités (repos, actif et optionnellement préparatoire) pour chacun de ces éléments. Autrement dit, si l'interface neuronale directe doit commander le mouvement de L éléments, le nombre d'états sera de K = 2^L ou 3^L (si les états préparatoires sont envisagés).

La pondération des prédictions des K experts associés aux différents états permet d'éviter les à-coups de mouvement. En outre, on a pu montrer que le décodage par mélange markovien d'experts permettait de réduire sensiblement le taux de faux positifs (commande de mouvement générée alors que le sujet est en réalité à l'état de repos) et le taux de faux négatifs (commande de mouvement absente alors que le sujet souhaite en réalité effectuer un mouvement).

La Fig. 2 représente sous forme d'ordinogramme la méthode d'un décodage continu de mouvement mise en oeuvre dans une interface neuronale directe selon un mode de réalisation de la présente invention.

A l'étape 210, on effectue une calibration du modèle HMM et des experts. Plus précisément on estime les paramètres de l'automate HMM et des matrices de prédiction β_ζ des experts .

Les signaux neuronaux acquis par l'interface pendant la phase de calibration font l'objet d'un prétraitement pour obtenir la variable d'observation x(i).

Ce prétraitement peut comporter la soustraction d'une moyenne prise sur l'ensemble des signaux mesurés.

On effectue ensuite une analyse temps-fréquence des signaux ainsi obtenus. Cette analyse est réalisée sur une fenêtre d'observation glissante de largeur ΔΓ pour toutes les électrodes, la fenêtre glissant de δΤ entre deux positions successives. L'analyse temps-fréquence est avantageusement une décomposition en ondelettes.

Ainsi, à chaque instant t - ηδΤ est associé un vecteur x(r) de taille M - SPQ où S = ΔΤ/δΤ, P est le nombre d'électrodes et Q est le nombre d'ondelettes (ou de bandes de fréquence) utilisées dans la décomposition.

On acquiert en parallèle les paramètres cinématiques du mouvement associé à l'activité neuronale (par exemple les composantes de la vitesse d'un point ou les coordonnées d'un point). La position peut être déterminée au moyen d'un système de poursuite de mouvement et les composantes de la vitesse s'en déduisent. Réciproquement, l'accélération et/ou la vitesse peuvent être mesurées par un capteur (accéléromètres) et la position peut s'en déduire. Dans le cas d'un mouvement imaginé (par un sujet sain) les paramètres cinématiques sont ceux des instructions de mouvement fournies au sujet. Enfin, dans le cas d'un mouvement présenté à un sujet (théorie des neurones miroir), en particulier à un sujet paralysé, les paramètres cinématiques sont ceux du mouvement présenté.

Pendant cette phase d'apprentissage, on sait également déterminer (par exemple au moyen d'un seuillage de la vitesse), les états de repos et les états actifs. Les états préparatoires peuvent être déterminés par des intervalles de longueurs prédéterminées avant le début des états actifs.

Ainsi, on dispose d'un ensemble de données d'observation permettant d'estimer les paramètres du modèle HMM et les matrices de prédiction des experts au moyen d'une méthode d'apprentissage supervisée ou semi-supervisée comme expliqué plus haut. Les coefficients de mélange sont également estimés à partir de l'expression (7).

Enfin, l'état de l'automate est initialisé, par exemple à un état de repos.

A l'étape 220, on acquiert en continu les signaux neuronaux des P électrodes et l'on effectue un prétraitement de ces signaux, identique à celui décrit pour la phase de calibration. On obtient une variable (vecteur) d'observation x(r) en une pluralité d'instants successifs.

A l'étape 230, on estime de manière itérative les coefficients de mélange g_k(t) , k = l,...,K à partir de la séquence passée des vecteurs d'observation x[l:r] au moyen de l'algorithme forword. L'utilisation de l'algorithme forword est ici particulièrement avantageuse dans la mesure où elle permet de calculer les coefficients de mélange sans temps de latence, à l'inverse de l'algorithme de Viterbi.

A l'étape 240, chacun des experts T_k, k = l,...,K, effectue une prédiction linéaire de la commande, ÿ_k(f), en supposant que l'automate est dans l'état z_k à l'instant t, soit y_k(t).

A l'étape 250, on effectue une combinaison des prédictions des K experts en les pondérant avec les coefficients de mélange, g_k(t). On obtient ainsi une estimation de la variable de commande, ÿ(r). Cette commande peut servir à mouvoir un élément externe tel qu'une partie de prothèse ou bien un curseur sur un écran par exemple. Dans le cas, où la variable de commande comprend des composantes relatives à des éléments distincts, chacun des éléments est commandé par la composante correspondante.

Les différentes méthodes ont été utilisées pour décoder le mouvement du poignet d'un primate à partir des signaux ECoG, lors d'une tâche de préhension de nourriture. Les signaux ECoG sont acquis au moyen d'une matrice (de 32 ou 64 électrodes) et échantillonnés à une fréquence de 1 kHz. Les caractéristiques des signaux neuronaux ont été obtenues par une transformée en ondelettes continue complexe ou CCWT (Complex Continuous Wavelet Transform) appliquée à chaque fenêtre d'observation. L'analyse fréquentielle a été réalisée de 1 à 250 kHz, l'échantillonnage dans le domaine fréquentiel étant réalisé par une ondelette mère et 38 ondelettes filles. La fenêtre d'observation était de durée égale à ls et le pas de glissement était de 100ms.

Le paramètre cinématique du mouvement était la position tridimensionnelle du poignet.

Les états retenus étaient le poignet au repos (¾) et le poignet en mouvement ( ^i).

Pour chacune des méthodes, le décodage continu a été entraîné (phase de calibration) sur 70% de la durée de la session et a fourni une estimation du mouvement sur la durée restante.

Le décodage continu de mouvement a été effectué selon trois méthodes.

La première méthode, MML (Markovian Mixture of Linear Experts), représentée en ligne A, est celle décrite en relation avec la Fig. 2.

La seconde méthode, W-TH, représentée en ligne B, a consisté en une régression par moindres carrés partiels en supposant une relation linéaire entre les paramètres cinématiques et la variable d'observation. L'estimation des états (repos, actif) a été faite a posteriori en comparant la vitesse à un seuil.

La troisième méthode, SKF, représentée en ligne C, est un filtrage de Kalman commuté, mentionné dans la partie introductive.

On remarque que l'estimation du mouvement selon la méthode MML est sensiblement meilleure que celle selon la méthode W-TH ou la méthode SKF, au sens où elle est plus conforme au mouvement observé. En outre, le mouvement estimé par la méthode MML ne présente que relativement peu d'à-coups. Enfin, les taux de faux positifs et de faux négatifs ont été respectivement de 11% et 6,9% pour la méthode WTH, de 21,9% et 26,3% pour la méthode SKF, de 5,5% et 5,7% pour la méthode MML. On voit ainsi que la méthode MML permet de réaliser un décodage continu du mouvement avec un faible niveau d'erreur de prédiction des états actif/repos.

Claims

REVENDICATIONS

1. Méthode de décodage continu de mouvement pour une interface neuronale directe acquérant des signaux neuronaux au moyen d'une pluralité d'électrodes, caractérisée en ce que, l'on estime une variable de commande, y(i), représentant des variables cinématiques du mouvement, au moyen d'un mélange d'experts, chaque expert étant associé à un des états cachés d'un modèle HMM modélisant une variable d'observation représentée par un vecteur d'observation, x(zj, le modèle HMM comprenant au moins un état actif et un état de repos, ladite méthode comprenant :

- une phase de calibration (210) pour estimer les paramètres du modèle HMM et d'un paramètre de prédiction linéaire de chaque expert ;

- un prétraitement (220) des signaux neuronaux, ledit traitement incluant une transformation temps-fréquence sur une fenêtre d'observation glissante, pour obtenir une séquence de vecteurs d'observation x[l : t]

- une estimation (230) des coefficients de mélange ( ,K ) des différents experts à partir de la probabilité de ladite séquence de vecteurs d'observation (p(x[l: z]) ) et de la probabilité des états respectivement associés à ces experts compte tenu de ladite séquence (p(z_i_(r) = l,x [1 :<])>;

- une estimation (240) par chaque expert, , de ladite variable de mouvement à partir du vecteur d'observation ( x(zj ) courant et du paramètre de prédiction linéaire dudit expert;

- une combinaison (250) des estimations des différents experts au moyen des coefficients de mélange pour fournir une estimation de la variable de commande.
2. Méthode de décodage continu de mouvement pour interface neuronale directe selon la revendication 1, caractérisée en ce que les états cachés du modèle HMM comprennent, pour chaque élément d'une pluralité d'éléments respectivement commandés par une composante de la variable de mouvement, un état actif pendant lequel ledit élément est mû et un état de repos pendant lequel ledit élément est au repos.
3. Méthode de décodage continu de mouvement pour interface neuronale directe selon la revendication 2, caractérisée en ce que les états cachés du modèle HMM comprennent en outre, pour chacun desdits éléments, un état de préparation de mouvement succédant immédiatement à un état de repos et précédant immédiatement un état actif dudit élément.
4. Méthode de décodage continu de mouvement pour interface neuronale directe selon l'une des revendications 1 à 3, caractérisée en ce que, pendant la phase de calibration, les paramètres du modèles HMM et les paramètres linéaires des experts sont obtenus à partir d'une séquence de vecteurs d'observation et d'une séquence de mesures de la variable de mouvement, selon une méthode d'apprentissage supervisée.
5. Méthode de décodage continu de mouvement pour interface directe selon la revendication 4, caractérisée en ce que les paramètres linéaires des experts sont obtenus au moyen d'une régression des moindres carrés partiels.
6. Méthode de décodage continu de mouvement pour interface directe selon la revendication 4, caractérisée en ce que les paramètres linéaires des experts sont obtenus au moyen d'une régression des moindres carrés partiels généralisée.
7. Méthode de décodage continu de mouvement pour interface neuronale directe selon l'une des revendications 1 à 3 caractérisée en ce que, pendant la phase de calibration, les paramètres du modèles HMM et les paramètres linéaires des experts sont obtenus à partir d'une séquence de vecteurs d'observation et d'une séquence de mesures de la variable de mouvement, selon une méthode d'apprentissage semisupervisée.
8. Méthode de décodage continu de mouvement pour interface neuronale directe selon la revendication 7, caractérisée en ce que les paramètres linéaires des experts sont obtenus au moyen d'un algorithme espérance-maximisation.
9. Méthode de décodage continu de mouvement pour interface neuronale directe selon l'une des revendications précédentes, caractérisée en ce que la transformation temps-fréquence est une décomposition en ondelettes.
10. Méthode de décodage continu de mouvement pour interface neuronale directe selon l'une des revendications précédentes, caractérisée en ce que le coefficient z x /γ Ρ(ζ_λ,χ[ΐ:ζ1) de mélange g_k\t) associé à l'expert est obtenu par g_k(t) =-où p(x[l : z]) est la probabilité d'observation de la séquence de vecteurs d'observation et P(z_i.,x[l:z]) est la probabilité de l'état associé à l'expert compte tenu de la séquence observée, les probabilités p(x[l:z]) et P(z_i.,x[l:z]) étant obtenues au moyen d'un algorithme/orword.
11. Méthode de décodage continu de mouvement pour interface neuronale directe selon l'une des revendications précédentes, caractérisée en ce que l'estimation y_k (z) de la variable de mouvement par l'expert est obtenue par y_k (z) = β_Λχ(Ζ) où β_ζ est une matrice de taille NxM où M est la dimension des vecteurs d'observation et N la dimension de la variable de commande.
12. Méthode de décodage continu de mouvement pour interface neuronale directe selon l'une des revendications précédentes, caractérisée en ce que les signaux neuronaux sont des signaux électro-corticaux.

S.60465

1/3