FR3159089A1 - Methode d’aide a la chirurgie et systeme associe - Google Patents

Abstract

M E THODE D’AIDE A LA CHIRURGIE ET SYST E ME ASSOCI E L’invention concerne une méthode (100) mise en œuvre par ordinateur d’aide à la chirurgie comprenant les étapes suivantes : La réception (110) d’une image médicale (10) d’une portion de corps prédéterminée (11) d’un individu dans une première position ;La réception (121) d’une image optique et/ou tridimensionnelle (25) de la portion dans de corps dans une seconde position ;La génération (140) d’un modèle 3D (14) comprenant au moins un ensemble d’éléments anatomiques (16) de ladite portion de corps de l’individu ;La génération (160) d’un attribut virtuel (15), caractéristique de la position et de l’orientation d’un élément anatomique sélectionné ;La génération et la transmission (170) d’une consigne d’affichage à un afficheur de réalité augmentée pour projeter une représentation virtuelle de l’attribut virtuel (15). Figure pour l’abrégé : Fig.2

Description

METHODE D’AIDE A LA CHIRURGIE ET SYSTEME ASSOCIE Domaine de l’invention

L’invention concerne un procédé mis en œuvre par ordinateur pour l’assistance à la chirurgie, notamment un procédé de génération d’une consigne d’affichage d’un axe de la main sur un dispositif de réalité augmentée. L’invention concerne également un système ou un programme d’ordinateur pour mettre en œuvre ledit procédé ainsi qu’une mémoire comprenant ledit programme d’ordinateur.

État de la technique

Lors de certaines chirurgies, certaines parties anatomiques du patient comme les os sont invisibles au chirurgien.

Certaines technologies permettent d’obtenir, à l’aide d’un casque de réalité augmentée porté par le chirurgien, de superposer sur ce que voit le chirurgien des caractéristiques virtuelles correspondant à des caractéristiques physiques cachées par l’anatomie du patient.

Par exemple, on connait WO2018164909 proposant une solution pour afficher sur l’afficheur d’un dispositif de réalité augmentée des ligaments d’un genou à travers la peau du patient pour permettre au chirurgien de visualiser ces ligaments lors d’une opération. La taille et la forme des ligaments virtuels peuvent être modifiées en fonction de la détection d’un mouvement des os adjacents.

Un inconvénient de ce type de solution est qu’il ne permet pas de générer des images d’assistance à la chirurgie pour des portions de corps plus complexes que le genou telles que la main ou le pied.

Il existe donc un besoin d’une méthode et d’un système d’assistance à la chirurgie permettant de représenter des caractéristiques physiques d’une portion de corps telles que la main ou le pied.

Selon un aspect, l’invention concerne un procédé ou une méthode d’aide à la chirurgie mis en œuvre par ordinateur.

Le procédé comprend la réception d’une image médicale d’une portion de corps prédéterminée d’un individu dans une première position.

Le procédé comprend la réception d’une image optique et/ou tridimensionnelle de ladite portion de corps dans une seconde position différente de la première position et la détermination de donnée de position de ladite portion de corps caractéristique de ladite seconde position à partir de ladite image réceptionnée.

Le procédé comprend la comparaison entre la seconde position et la première position pour générer un paramètre de transformation.

Le procédé comprend la génération d’un modèle 3D d’une structure anatomique de ladite portion du corps, associé à la seconde position, à partir de l’image médicale reçue et à partir dudit paramètre de transformation.

Dans un mode d'exécution, ladite structure anatomique comprend au moins un ensemble d’éléments anatomiques de ladite portion de corps de l’individu.

Dans un mode d'exécution, le procédé comprend la sélection d’au moins un élément anatomique parmi ledit ensemble d’éléments anatomique dudit modèle 3D généré.

Dans un mode d'exécution, le procédé comprend la génération d’un attribut virtuel, ledit attribut virtuel comprenant un élément caractéristique de la position et de l’orientation dudit élément anatomique sélectionné dans le modèle 3D.

Un avantage de l’attribut virtuel est de fournir au praticien une information sur la position et/ou l’orientation d’un élément anatomique du sujet non visible à l’œil nu. Cet attribut virtuel peut ainsi être affiché sur un dispositif de réalité augmenté dans le champ de vision du praticien.

Dans un mode d'exécution, l’élément géométrique de l’attribut virtuel comprend un axe ou un plan dont l’emplacement et l’orientation sont générés en fonction de la position et de l’orientation dudit élément anatomique.

Un avantage d’un axe ou d’un plan est de permettre au praticien de suivre l’orientation d’un élément, par exemple pour l’alignement ou le placement d’un outil chirurgical.

Dans un mode d'exécution, le procédé comprend la génération et la transmission d’une consigne d’affichage à un afficheur de réalité augmentée pour projeter une représentation virtuelle de l’attribut virtuel généré dans un champ chirurgical comprenant ladite portion de corps dudit individu tout en permettant au champ chirurgical d'être vu à travers l’afficheur de réalité augmentée.

Dans un mode d'exécution, la consigne d’affichage comprend une consigne pour projeter représentation virtuelle d’au moins une partie du modèle 3D dans le champ chirurgical en permettant au champ chirurgical d'être vu à travers l’afficheur de réalité augmentée.

Un avantage d’afficher dans le champ chirurgical une partie du modèle 3D est de permettre la visualisation d’éléments anatomiques sous la peau tel que les os ou certains organes. L’affichage du modèle 3D est préférentiellement affiché en superposition de la portion de corps du sujet correspondant audit modèle 3D.

Dans un mode d'exécution, la capture de donnée de position de ladite portion de corps dudit individu est réalisée en continu et dans lequel la consigne d’affichage est mise à jour en temps réel.

Dans un mode d'exécution, un modèle 3D préopératoire de la portion de corps associé à la première position est généré à partir l’image médicale reçue, ledit modèle 3D associé à la seconde position étant généré à partir de la comparaison et à partir dudit modèle 3D opératoire.

Dans un mode d'exécution, le modèle 3D préopératoire comprend des informations de profondeur de chaque élément anatomique dudit ensemble par rapport à la surface de la peau à partir de l’image médicale reçue et le modèle 3D associé à la seconde position comprend également des informations de profondeur de chaque élément anatomique dudit ensemble par rapport à la surface de la peau à partir desdites informations du modèle 3D préopératoire.

Un avantage est de permettre de conserver dans le modèle 3D les informations de profondeur d’un élément anatomique, par exemple la distance entre ledit élément anatomique et la surface de la peau. L’affichage en réalité augmentée de tout ou partie du modèle 3D est ainsi avantageusement plus précis, notamment la position de l’élément anatomique du modèle 3D par rapport à la peau du sujet.

Dans un mode d'exécution, la consigne d’affichage comprend en outre une consigne pour projeter une représentation virtuelle d’au moins une partie des éléments anatomiques du modèle 3D associé à la seconde position, dont l’emplacement d’affichage est déterminé en fonction des informations de profondeurs surface de main et de l’emplacement de la surface de peau de la main du sujet sur l’image optique et/ou tridimensionnelle reçue.

Dans un mode d'exécution, le modèle 3D préopératoire est généré à partir d’une segmentation et de la labellisation de chaque élément anatomique de la portion de corps à partir de l’image médicale reçue.

Dans un mode d'exécution, l’étape de comparaison comprend la génération d’un premier ensemble de points d’intérêts de la portion de corps de l’individu dans la première position à partir du modèle 3D préopératoire associé à la première position.

Dans un mode d'exécution, l’étape de comparaison comprend la génération d’un second ensemble de points d’intérêts de la portion de corps de l’individu dans la seconde position à partir du modèle 3D associé à la seconde position générée.

Dans un mode d'exécution, l’étape de comparaison comprend la comparaison entre le premier ensemble de points d’intérêts et du second ensemble de points d’intérêts.

Dans un mode d'exécution, les éléments anatomiques comprennent des os d’une portion de squelette et en ce que l’ensemble d’éléments anatomique comprend au moins une portion de squelette comprenant un ensemble d’os connectés les uns aux autres.

Dans un mode d'exécution, l’attribut virtuel comprend en outre un premier paramètre, tel qu’une distance angulaire entre deux os, calculé à partir du modèle 3D associé à la seconde position.

Dans un mode d'exécution, l’attribut virtuel comprend un deuxième paramètre tel qu’un diamètre ou une longueur de vis calculée à partir du modèle 3D associé à la seconde position.

Selon un autre aspect, l’invention concerne un système comprenant des moyens matériels et/ou logiciels pour la mise en œuvre du procédé selon l’invention.

Dans un mode de réalisation, les moyens matériels comprennent des moyens de réception d’information, des moyens de transmission d’informations, un dispositif d’acquisition optique pour l’acquisition d’images optiques et/ou tridimensionnelles, un dispositif d’affichage et/ou une interface homme/machine.

Dans un mode de réalisation, les moyens logiciels comprennent un processeur et/ou une mémoire pour l’exécution de ladite méthode.

Dans un mode de réalisation, les moyens matériels comprennent au moins un capteur pour capturer des données sur l'emplacement et l'orientation d'une portion de corps dans le champ chirurgical.

Dans un mode de réalisation, les moyens matériels comprennent un premier processeur associé à une première mémoire pour mettre en œuvre du procédé selon l’invention.

Dans un mode de réalisation, le système comprend un afficheur de réalité augmentée pour projeter une représentation virtuelle de l’attribut virtuel généré dans un champ chirurgical tout en permettant au champ chirurgical d'être vu à travers l’afficheur de réalité augmentée.

Dans un mode de réalisation, le système comprend en outre un bras robot comprenant une tête conçue pour supporter un outil chirurgical.

Dans un mode de réalisation, le système comprend un second processeur associé à une seconde mémoire pour mettre en œuvre un procédé de guidage en temps réel d’un bras robot.

Dans un mode de réalisation, le premier processeur et le second processeur sont le même processeur et/ou la seconde mémoire et la première mémoire sont la même mémoire.

Dans un mode d'exécution, le procédé de guidage en temps réel d’un bras robot comprend :

• la détermination de la position relative de la tête du bras robot ;
• le calcul d’une première trajectoire de guidage de la tête du bras robot en fonction de la position relative de la tête du bras robot et de l’attribut virtuel ;
• l’activation d’une cinématique du bras robot pour parcourir la trajectoire de guidage ;
• la réception d’un nouveau modèle 3D et/ou d’un nouvel attribut virtuel généré par le procédé selon l’invention pour le calcul d’une nouvelle trajectoire de guidage et l’activation d’une nouvelle cinématique en fonction dudit nouveau modèle 3D et/ou du nouvel attribut virtuel généré.

Selon un autre aspect, l’invention concerne un produit programme d’ordinateur comprenant des instructions qui conduisent le système selon l’invention à exécuter les étapes de la méthode selon l’invention.

Selon un autre aspect, l’invention concerne un support lisible par ordinateur tel qu’une mémoire, notamment une mémoire non-transitoire, sur lequel est enregistré le programme d'ordinateur selon l’invention.

Selon un dernier aspect, l’invention concerne un procédé mis en œuvre par ordinateur d’aide à la chirurgie comprenant les étapes suivantes :

• La réception d’une image médicale d’une portion de corps prédéterminée d’un individu dans une première position ;
• La capture de donnée de position de ladite portion de corps dudit individu dans une seconde position différente de la première position ;
• La comparaison entre la seconde position et la première position pour générer un paramètre de transformation ;
• La génération d’un modèle 3D des os de ladite portion du corps, associé à la seconde position, à partir de l’image médicale reçue et à partir dudit paramètre de transformation ;
• La sélection d’au moins un os dudit modèle 3D généré et la génération d’un attribut virtuel, ledit attribut virtuel comprenant un élément caractéristique de la position et de l’orientation dudit os sélectionné dans le modèle 3D;
• La transmission d’une consigne d’affichage à un afficheur de réalité augmentée pour projeter une représentation virtuelle de l’attribut virtuel généré dans un champ chirurgical comprenant ladite portion de corps dudit individu tout en permettant au champ chirurgical d'être vu à travers l’afficheur de réalité augmentée.

Brève description des figures

D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui suit, en référence aux figures annexées, qui illustrent :

FIG. 1: une vue schématique d’un dispositif selon un mode de réalisation de l’invention.

FIG. 2: un logigramme de la méthode selon un mode de réalisation de l'invention.

FIG. 3: une vue du dessus de la main d’un sujet sur laquelle sont représentés des exemples de points d’intérêts.

FIG. 4: un exemple de visualisations des points d’intérêts détectés permettant de servir de base à la détection de la position et orientation de la main.

FIG. 5: une vue simplifiée d’un exemple de dispositif d’affichage selon un mode de réalisation de l’invention.

FIG. 6: un logigramme de la méthode selon un mode de réalisation de l'invention où un modèle de la portion de corps associé à la première position est généré pour générer le second modèle de corps associé à la seconde position.

FIG. 7: une vue schématique d’un dispositif selon un mode de réalisation de l’invention comprenant un système de guidage incluant un bras robotique.

Description de l’invention

La description qui va suivre porte essentiellement sur un exemple pour la génération d’une consigne d’affichage pour un dispositif d’affichage de réalité augmentée ; ladite consigne d’affichage étant configurée pour afficher un élément géométrique caractéristique de la position et de l’emplacement d’un os sélectionné de la main d’un sujet dans le champ de vision du dispositif de réalité augmentée.

Le système et la méthode proposés peuvent s’adapter par exemple à d’autres portions du corps comme le pied, la cheville, le poignet, les vertèbres ou toute autre partie du corps pour lesquelles la visualisation avec précision d’élément géométrique caractéristique d’un os sélectionné sur un afficheur de réalité augmentée.

Dans un autre exemple, le système et la méthode associée permettent d’afficher un tel élément de guidage en réalité augmentée caractéristique d’un organe ou d’une portion d’organe tels que le cœur, le colon, le système intestinal ou veineux.

Le système selon l’invention comprend un module de calcul comprenant au moins un calculateur pour générer une consigne d’affichage et un dispositif de réalité augmentée connecté audit au moins un calculateur pour afficher des éléments en réponse à ladite consigne d’affichage générée.

Préférentiellement, la méthode décrite est mise en œuvre par ordinateur. Les étapes de la méthode peuvent ainsi être mis en œuvre par un ou plusieurs processeurs ou calculateurs.

Acquisition d’images médicales

L’invention comprend la réception 1100 d’une image médicale 10 de la main 14 d’un sujet.

Une image médicale 10 de la main 14 est acquise par un module d’acquisition d’image médicale.

Avant de procéder à la capture de l'image médicale, il est préférable de préparer la main 14 de l'individu pour obtenir des résultats optimaux. Cela peut impliquer des instructions pour placer la main dans la première position spécifique prédéterminée, éventuellement en utilisant des accessoires pour maintenir la main stable, et/ou en s'assurant que la main est propre et dépourvue d'objets qui pourraient gêner la capture de l’image médicale.

Préférentiellement, l’image médicale 10 de la main est obtenue lorsque cette dernière est agencée à une première position prédéterminée, par exemple, posée à plat sur un support. Préférentiellement, le support comprend une surface de couleur unie. Dans un mode de réalisation, un support spécifique, comprenant par exemple des éléments de butée, pour guider l’individu à placer sa main dans la première position prédéterminée est utilisé.

L’image médicale 10 comprend préférentiellement une image tridimensionnelle de la portion de corps. Par exemple, l’image médicale 10 comprend une série comprenant une pluralité d’images de coupe transversale de la main 14 permettant une représentation tridimensionnelle de la portion de corps acquise.

L’image médicale 10 comprend préférentiellement une image anatomique d’une portion de corps d’un individu. Par exemple, l’image médicale est acquise par une technique CT-scan, aussi appelée « tomodensitométrie ». Le CT-scan est une technique d'imagerie médicale non invasive qui permet d'obtenir des images détaillées de l'intérieur du corps. Le CT scan est également connu sous le nom de scanner ou tomographie axiale calculée (TAC). Cette technique utilise des rayons X et un ordinateur pour produire des images en coupe transversale (tranches) du corps, ce qui permet aux médecins de visualiser les structures internes, telles que les organes, les os, les vaisseaux sanguins et les tissus mous.

Dans un autre mode de réalisation, l’image médicale 10 acquise est une image fonctionnelle de la portion de corps. Par exemple, l’image médicale comprend une image acquise par une technique IRM (pour Imagerie par Résonance Magnétique). Les images IRM permettent avantageusement de visualiser les os, les tissus mous et d’autres structures anatomiques avec une résolution élevée sans exposer l’individu à des rayonnements ionisants. Le principe fondamental de l'IRM repose sur les propriétés des atomes d'hydrogène présents dans le corps humain. Lorsque le patient est placé à l'intérieur d'un scanner d'IRM, un champ magnétique puissant est appliqué, ce qui aligne les atomes d'hydrogène dans une direction spécifique. Ensuite, de courtes impulsions d'ondes radiofréquences sont émises dans le corps, ce qui perturbe l'alignement des atomes d'hydrogène. Lorsque ces impulsions radiofréquences s'éteignent, les atomes d'hydrogène reviennent à leur état d'alignement d'origine. Ce processus de relaxation génère des signaux détectés par des antennes spéciales dans le scanner d'IRM. Ces signaux sont ensuite transformés en images médicales 2D ou 3D détaillées des structures internes du corps par un ordinateur.

De manière générale, l’image médicale 10 comprend toute image permettant de visualiser les os ou le squelette de la portion de corps d’un individu ainsi que les parties molles de la portion de corps (organes, réseau sanguin, réseau nerveux ou muscles).

Dans un mode de réalisation, le terme « image médicale » peut être compris comme une série d’images de coupe transversale (telles que des images IRM ou CT scan) acquise à l’aide d’un appareil médical approprié dans laquelle chaque coupe transversale correspond à une image à une profondeur différente.

Dans un mode de réalisation, les images de coupe brutes acquises subissent un prétraitement afin de réduire le bruit et d'améliorer la qualité des données. Des techniques avancées de filtrage et de normalisation sont appliquées pour éliminer les artefacts et rendre les images plus cohérentes.

Dans un mode de réalisation, les images de coupe peuvent être sujettes à des artefacts et à des perturbations, notamment le bruit, qui peuvent affecter la qualité et la fiabilité des informations extraites. Différentes méthodes de filtrage, telles que le filtre gaussien, le filtre médian ou le filtre bilatéral, peuvent être utilisées pour réduire le bruit tout en préservant les détails importants.

Dans un mode de réalisation, le prétraitement des images de coupe comprend l’application de techniques d'amélioration de contraste, telles que l'égalisation d'histogramme ou l'ajustement linéaire de contraste, pour augmenter la différence de luminosité entre les tissus, améliorant ainsi la visibilité des détails.

Dans un mode de réalisation, le prétraitement des images de coupe comprend l’utilisation de méthodes d'élimination ou de correction d'artefacts pour rétablir l'intégrité des images et garantir leur fidélité.

Dans un mode de réalisation, le prétraitement des images médicales comprend une normalisation des intensités pour rendre les images de coupe cohérentes en ajustant leurs échelles de gris ou leurs valeurs de pixels afin qu'elles aient des plages d'intensité similaires.

Dans un mode de réalisation, le prétraitement des images médicales comprend la mise en œuvre d’une technique d'enregistrement et de recalage pour aligner les images de coupe acquises d'une même région du corps et les superposer correctement pour obtenir une image médicale cohérente.

Dans la suite de la description, on utilisera le terme « image médicale » pour désigner à la fois une image médicale brute acquise ou une image médicale ayant subi une étape de prétraitement comme décrit ci-avant.

Génération d’un modèle 3D préopératoire associé à la première position

Dans un mode de réalisation, la méthode selon l’invention comprend la génération d’un premier modèle 3D préopératoire 22 de la main ou d’une portion de corps de l’individu dans la première position prédéterminée dans laquelle l’image médicale 10 a était acquise.

La génération d’un premier modèle 3D préopératoire 22 de la main comprennent préférentiellement une détection de la portion de corps sur l’image médicale 10 pour identifier la région d’intérêt de l’image correspondant à la main dans l’image médicale 10, en la distinguant des autres structures anatomiques environnantes ou du fond. Par exemple, une méthode de segmentation par seuillage ou de segmentation par contour est utilisée.

L'objectif global de l'étape de détection de la portion de corps est d'isoler avec précision la région d'intérêt correspondant à ladite portion de corps dans l'image médicale. Une fois la portion de corps détectée, les images médicales 10 traitées sont prêtes à être utilisées dans les étapes ultérieures du processus, telles que la reconstruction 3D et la modélisation anatomique de ladite portion de corps. Une détection précise de la portion de corps permet avantageusement d’obtenir des résultats plus fiables et de meilleure qualité tout au long du processus de génération du ou des modèles 3D.

Préférentiellement, le modèle 3D préopératoire 22 est généré également à partir d’une image optique de la portion de corps et/ou d’un nuage de point de ladite portion de corps acquis lorsque la main est dans la première position.

La génération d’un modèle 3D préopératoire de la main comprend une reconstruction tridimensionnelle préopératoire pour avantageusement générer une représentation volumétrique en trois dimensions de la main associée à la première position. Le premier modèle 3D initial et la reconstruction tridimensionnelle initiale sont préférentiellement associés à la première position.

Préférentiellement, la reconstruction tridimensionnelle du premier modèle 3D préopératoire de la main est générée à partir de l’image médicale 3D ou à partir d’une série d’images de coupe transversale 2D de la main.

Dans un mode de réalisation, la reconstruction tridimensionnelle comprend une reconstruction par voxels. Cette méthode repose sur la discrétisation de l'espace en petites unités cubiques appelées voxels. Chaque voxel est attribué à une valeur d'intensité en fonction de l'image médicale correspondante. En utilisant ces valeurs, un modèle 3D volumétrique de la main est créé, où chaque voxel représente un petit élément de volume dans l'espace tridimensionnel.

Dans un mode de réalisation, la reconstruction tridimensionnelle comprend une reconstruction par contour comprenant la segmentation des contours des différentes structures de la main dans chaque image de coupe transversale de l’image médicale et de combiner lesdits contours pour créer une représentation 3D de la portion de corps.

Dans un mode de réalisation, la reconstruction tridimensionnelle comprend une reconstruction par approches basées sur la profondeur comprenant l’utilisation des informations de profondeur de chaque image de coupe transversale de l’image médicale pour reconstruire la géométrie tridimensionnelle de la main.

Dans un mode de réalisation, la méthode comprend en outre la génération 112 d’une modélisation anatomique préopératoire 23. La modélisation anatomique préopératoire 23 peut être réalisée à partir de l’image médicale 10 et/ou à partir de la représentation tridimensionnelle générée telle que décrite précédemment.

La modélisation anatomique comprend préférentiellement une modélisation en trois dimensions d’un système anatomique de la portion de corps dont l’image optique a été acquise. Par exemple, la modélisation anatomique comprend une modélisation des os de la main de l’utilisateur.

La modélisation anatomique permet de classifier les différentes structures anatomiques présentes dans la main, notamment les os, les articulations, et les tissus mous de la peau ou de la chair.

Dans un mode de réalisation, la génération de la modélisation anatomique préopératoire 23 comprend une segmentation de chaque structure anatomique de l’image médicale 10 et de la classification de ladite structure segmentée à partir des caractéristiques de ladite segmentation. Dans un autre mode de réalisation, la segmentation et la classification de chaque structure de la main est mise en œuvre par une fonction apprenante telles qu’un réseau de neurones profond ou les réseaux génératifs adverses (GAN), peuvent être utilisés pour créer des modèles anatomiques de la main à partir de l’image médicale et/ou à partir de la représentation tridimensionnelle générée.

Le premier modèle 3D préopératoire de l’individu associé à la première position est ainsi généré à partir de l’image médicale 10 et comprend une représentation 3D de la main dont les structures anatomiques sont classifiées. Préférentiellement, le modèle 3D préopératoire comprend une représentation tridimensionnelle des structures anatomiques osseuses de la main et optionnellement la surface de la peau. Ce modèle 3D préopératoire peut être obtenu par soustraction de certaines structures anatomiques de la représentation tridimensionnelle en fonction de leur classification.

Dans un mode alternatif, le premier modèle 3D préopératoire 22 comprend une représentation tridimensionnelle des os de la main dans lequel les os de la main sont labélisés pour pouvoir être identifiés parmi les os dudit premier modèle 3D et optionnellement représentation virtuelle de la surface de la peau. Dans un mode de réalisation, le premier modèle 3D comprend une information de profondeur de la surface de la peau par rapport à la surface des structures anatomiques osseuses du premier modèle 3D.

Les dimensions de chaque os et la position relative d’un os par rapport aux os adjacents peuvent être déterminées à partir de l’image médicale acquise. Préférentiellement, ces données de dimensions peuvent être enregistrées ou stockées, par exemple sur une mémoire.

Dans un mode réalisation, l’image médicale 10 est transmise au module de calcul PRO et le premier modèle 3D préopératoire est généré par le module de calcul PRO. Dans un mode de réalisation alternatif, le premier modèle 3D préopératoire et/ou la modélisation anatomique préopératoire associés à la première position sont transmis au module de calcul PRO et/ou stockés ou enregistrés sur une unité de stockage de données telle qu’une mémoire MEM (préférentiellement non-transitoire).

Données de position et d’emplacement de la main

La méthode comprend en outre une étape de détermination 120 de la position et optionnellement de l’emplacement de la main de l’individu.

La détermination comprend l’acquisition 121 d’une image telle qu’une image optique de la main de l’individu lorsque la main de l’individu est dans une deuxième position différente de la première position. L’image optique peut comprendre une image optique en 2 dimensions ou préférentiellement en 3 dimensions de la main de l’individu. L’image peut être acquise par un dispositif d’acquisition d’image déportée. Plus préférentiellement, l’image est acquise par un dispositif d’acquisition d’image intégré à un casque de réalité augmenté tel que décrit ci-après. Préférentiellement, ladite image comprend une image de la main de l’individu dans un environnement comprenant des objets qui pourront permettre d’extraire des données d’emplacement et d’orientation de la main relativement audit objet de l’environnement.

Dans un mode de réalisation, la détermination comprend l’acquisition d’une image tridimensionnelle de la portion de corps tel qu’un nuage de point ou une carte de profondeur.

Le dispositif d’acquisition d’image comprend préférentiellement un scanner 3D. Par scanner 3D, on entend un dispositif utilisant un plusieurs lasers ou des capteurs pour mesurer la géométrie tridimensionnelle de la main. Il peut fournir une image 3D détaillée de la main, en capturant sa forme et ses contours avec précision sur le principe du temps de vol du laser lorsqu’il est réfléchi par la main. Le scanner est conçu pour balayer la main de l’individu pour enregistrer les informations de profondeurs de chaque pixel.

Le dispositif d’acquisition d’image peut comprendre une caméra stéréoscopique, c’est-à-dire une paire de caméras stéréoscopiques. Une unité de calcul peut alors utilisée pour extraire des images 2D acquises, en utilisant la parallaxe ou la différence d’angles, des informations de profondeur. En combinant ces images, il est possible d'obtenir une image 3D de la main.

Par le terme « image optique », on entend par conséquent une image dans le domaine du visible, des infrarouges ou une carte de profondeur ou un nuage de points.

Dans un mode de réalisation, l’image comprend un nuage de points d’au moins une portion de la main. Dans un mode de réalisation alternatif, un nuage de points représentant au moins une portion de la main est généré à partir de l’image acquise.

La méthode comprend alors la génération d’une donnée 11, dite « donnée de position » ou « indicateur de position » » en fonction de la seconde position de la main sur l’image acquise. Par exemple, un indicateur de position est généré à partir de ladite image acquise de la main dans la deuxième position. Ledit indicateur de position généré est caractéristique de ladite deuxième position. Préférentiellement, il est ainsi possible de reconstruire la seconde position de la main à partir dudit indicateur généré.

Par exemple, ledit indicateur généré comprend des informations de pose telles que des valeurs angulaires d’au moins une partie des articulations de la main. Dans un autre exemple, l’indicateur généré est associé à ladite seconde position de la main de l’individu.

Dans un mode de réalisation, les données de position permettent de caractériser la deuxième position et permettent de reconstruire un modèle virtuel d’une main dans ladite deuxième position.

Les données de position 11 peuvent décrire la position relative des articulations de la main et leurs coordonnées spatiales et/ou les positions relatives des différents doigts de la main et de la paume de la main.

Dans un mode de réalisation, les données de positions comprennent en outre des données d’emplacement et d’orientation de la main et/ou de chaque doigt de la main et/ou de chaque phalange de la main. Les données d’emplacement comprennent des coordonnées relatives de la main dans l’environnement. Les données d’orientation comprennent l’orientation relative de la main de l’individu dans l’environnement.

Selon un mode de réalisation, des points d’intérêt 206, 208 de la main de l’utilisateur sont générés à partir de l’image acquise ou à partir du traitement du nuage de points E1 généré comme illustré sur laFIG. 3.

Lesdits points d’intérêts peuvent comprendre des centres de masse 208 de la main ou d’une portion de la main. Les centres de masses peuvent être générés aux coordonnées correspondant sensiblement au centre d’une zone prédéterminée de la main. Par exemple, un point d’intérêt peut correspondre au centre de masse de la paume de la main, d’une phalange, d’un doigt.

Les points d’intérêt peuvent comprendre des points de déflexion 206. Les points de déflexion 206 sont générés à la frontière entre deux portions adjacentes de la main. Par exemple, un point d’intérêt peut être généré entre les portions de la main correspondant à deux phalanges adjacentes du même doigt. La localisation d’un tel point d’intérêt peut correspondre alors à la localisation d’une articulation, par exemple entre deux phalanges.

Les points d’intérêt peuvent comprendre l’extrémité ou le bout d’un doigt. Les différents points d’intérêt peuvent être reliés entre eux par des segments 207.

Les points d’intérêt peuvent comprendre des coordonnées d’un point ou d’une zone sur l’image acquise et une information de labellisation correspondant à une information d’identification. Par exemple, l’information d’identification permet d’identifier une articulation prédéterminée.

Dans un mode de réalisation, l’étape de génération des points d’intérêt comprend la génération des coordonnées de chaque point d’intérêt sur l’image acquise ou dans le nuage de points généré de la main de l’individu dans la deuxième position.

Préférentiellement, les données de position sont obtenues à partir des coordonnées desdits points d’intérêt. La pose de la main dans la deuxième position peut ainsi être déterminée à partir des écarts angulaires entre deux segments 207 reliés au même point d’intérêt 206 ; 208.

Un exemple de modèle 3D associé à une seconde position E2 est représenté sur laFIG. 4dans lequel les points d’intérêt 211, 212, 213 sont générés à partir du paramètre de transformations ainsi que les segments 214 reliant lesdits points d’intérêt.

Dans un autre mode de réalisation alternatif ou cumulatif, l’indicateur de position est généré à partir d’une fonction apprenante entrainée telle qu’un réseau de neurones entrainé. Préférentiellement, ladite fonction apprenante est entrainée à partir d’une collection d’images d’entrainement labélisées. Chaque image d’entrainement est une image optique de la main dans une position et comprend un label comprenant la donnée de position de la main associée à ladite image d’entrainement. Ladite fonction apprenante, une fois entrainée, est configurée pour recevoir en entrée une image de la main et générer en sortie un indicateur de position de ladite main sur l’image associé à ladite image en entrée. Dans une variante, un prétraitement de l’image de la main peut être réalisé, par exemple la génération des points d’intérêts. Dans un mode de réalisation, la fonction apprenante est configurée pour générer une donnée de position à partir des coordonnées des points d’intérêts et/ou de l’image acquise de la main.

Comparaison entre la première position et la seconde position

À partir de la donnée de position générée ou à partir de l’indicateur de position, la seconde position de la portion de corps est comparée (130) à la première position prédéterminée dans laquelle l’image médicale préopératoire de la portion de corps avait été acquise.

Cette étape de comparaison génère un paramètre de transformation 26. Le paramètre de transformation 26 peut par exemple comprendre une matrice de transformation permettant de transformer la position de la portion de corps dans la seconde position depuis la première position.

Dans un mode de réalisation, le paramètre de transformation 26 est obtenu par opérations mathématiques de comparaison entre l’indicateur de position généré associé à la seconde position et un indicateur de position préenregistré associé à la première position et préférentiellement différent de l’indicateur de position généré. Dans un mode de réalisation alternatif, l’indicateur de position relatif à la première position est déterminé à partir d’une image optique et/ou tridimensionnelle de la portion de corps dans la première position.

La comparaison peut être obtenue par des opérations de régression, de soustraction ou de division.

Le paramètre de transformation peut être généré en fonction de règles biomécaniques préenregistrées. Par exemple, le paramètre de transformation peut comprendre une valeur angulaire de rotation de chaque articulation de la main permettant de passer une main de la première à la seconde position. Préférentiellement, le paramètre de transformation comprend une valeur angulaire de chaque articulation de la main permettant de passer de la première à la seconde position.

Préférentiellement, le paramètre de transformation est un paramètre associé à la seconde position et convertissant l’indice de position associé à la première position en indice de position associé à la seconde position.

Dans un mode de réalisation, la génération du paramètre de transformation comprend la détection ou le calcul d’angles des différentes parties de la portion du corps autour d’articulations de ladite portion de corps (par exemple l’angle entre deux phalanges adjacentes) à partir des images optiques acquises. Préférentiellement, le paramètre de transformation est généré par comparaison des valeurs angulaires d’articulations associées à la première position préenregistrée et celles associées à la seconde position.

Génération d’un modèle 3D actualisé

La méthode comprend la génération 140 d’un second modèle 3D actualisé 14 associé à la seconde position. Le modèle 3D actualisé comprend préférentiellement un modèle 3D tel que décrit pour le modèle 3D préopératoire. Le modèle 3D actualisé 14 est cependant associé à la seconde position.

Dans un premier mode de réalisation illustré sur laFIG. 2, le second modèle 3D actualisé 14 est généré à partir des images acquises de la portion de corps dans la seconde position de la même manière que le premier modèle 3D initial est généré à partir des images acquises de la portion de corps dans la première position.

Le modèle 3D actualisé comprend une modélisation anatomique comprenant une modélisation en trois dimensions dudit système anatomique associé à la seconde position. Par exemple, le système anatomique comprend une représentation du système squelettique de la main composé des os de la main.

La génération d’un modèle 3D actualisé comprend une reconstruction tridimensionnelle pour avantageusement générer une représentation volumétrique en trois dimensions de la main dans la seconde position. Ladite reconstruction tridimensionnelle peut être la même que celle décrite pour le premier modèle 3D initial.

Dans un mode de réalisation particulièrement avantageux illustré sur laFIG. 6, la modélisation anatomique associée à la seconde position est générée à partir de la modélisation anatomique préopératoire préenregistrée 23 associée à la première position et à partir du paramètre de transformation 26 généré associé à la transformation de la portion de corps dans la seconde position depuis la première position.

Dans ce mode, le paramètre de transformation 26 est appliqué au modèle anatomique préopératoire associé à la première position pour obtenir un modèle anatomique associé à la seconde position.

Dans un mode de réalisation, la valeur angulaire de chaque articulation de la première modélisation anatomique préopératoire associée à la première position est modifiée par la valeur de ladite articulation selon les données de positions associées à la seconde position pour générer la modélisation anatomique actualisée associée à la seconde position.

Préférentiellement, la forme de chaque élément anatomique est générée à partir de l’image médicale acquise précédemment associée à la première position de la portion de corps. Préférentiellement, la position et l’orientation de chaque élément anatomique les uns par rapport aux autres sont générées à partir du paramètre de transformation et/ou à partir de la comparaison entre la première position prédéterminée et la seconde position.

La modélisation anatomique actualisée associée à la seconde position comprend préférentiellement une représentation du squelette de la main de l’utilisateur, c’est-à-dire un ensemble d’os connectés les uns aux autres. Préférentiellement, la connexion entre deux os est symbolisée par une articulation labellisée par un identifiant.

Dans un mode de réalisation, le modèle 3D actualisé associé à la seconde position est généré à partir du modèle 3D préopératoire associé à la première position.

Préférentiellement, les éléments anatomiques du modèle 3D actualisé sont identiques aux éléments anatomiques du modèle 3D préopératoire.

Dans un mode de réalisation, la modélisation anatomique actualisée est générée à partir de la modélisation anatomique préopératoire sur laquelle est appliquée une transformation spatiale en translation et/ou en rotation des éléments anatomiques (par exemple des os) selon le paramètre de transformation 16 précédemment calculé et optionnellement selon un ensemble de règles biodynamiques préenregistrées.

Par exemple, les règles biodynamiques peuvent fixer des contraintes de déplacement angulaire de certaines articulations. Notamment, les règles biodynamiques définissent des axes de rotation de chaque articulation et/ou des plages de valeurs autorisées et/ou interdites de chaque articulation de la portion de corps.

Dans un mode de réalisation, la seconde modélisation anatomique actualisée associée à la seconde position peut comprendre des informations de profondeur. Les informations de profondeur comprennent une information de distance entre la surface d’un point de la modélisation anatomique actualisée et la peau du sujet. Préférentiellement, cette information est générée à partir des images médicales acquises. À ce titre, les images médicales acquises sont traitées de manière à déterminer la distance entre la surface d’un point d’un os déterminé du sujet et la peau du sujet. À titre d’exemple, la distance entre la surface d’un os et de la peau du sujet est mesurée sur les images médicales et associées à l’os ou au point de l’os utilisé pour ladite mesure.

Ces informations de profondeurs sont préférentiellement associées à des coordonnées du point de la modélisation anatomique à partir de laquelle la distance a été mesurée par rapport à un repère situé sur ledit élément anatomique. Lesdites coordonnées peuvent être calculées à partir des coordonnées en deux dimensions du point sur l’image médicale et en fonction de l’image de coupe utilisée ou de la profondeur associée à ladite image de coupe.

Préférentiellement, les distances de profondeurs entre la surface de la peau et les éléments anatomiques de la seconde modélisation anatomique actualisée associée à la seconde position sont similaires aux distances déterminées lors de la construction du premier modèle anatomique préopératoire.

Dans un mode de réalisation, le dispositif comprend des moyens pour acquérir ou réceptionner des images optiques et/ou tridimensionnelles de la portion de corps en continu et pour générer en continu et/ou en temps réel un second modèle 3D actualisé à partir desdites images.

Dans un mode de réalisation préférentiel, la modélisation anatomique est générée par une fonction apprenante entrainée telle qu’un réseau de neurones entrainé.

Ladite fonction apprenante est configurée pour recevoir en entrée :

• un paramètre de transformation 26 associée à la seconde position et convertissant l’indice de position associé à la première position en indice de position associé à la seconde position ; associé à
• une image médicale 10 d’une portion de corps dans une première position.

Ladite fonction apprenante est configurée pour générer en sortie une modélisation anatomique associée à la seconde position.

Ladite fonction apprenante a préférentiellement était entrainée à partir d’une base de données d’entrainement d’une pluralité de triplets composés chacun d’images médicales de la portion de corps dans la première position, de paramètre de transformation associé à la transformation depuis la première position vers une seconde position (différente de la première position) et d’une modélisation anatomique de ladite portion de corps dans la seconde position.

Génération d’une image virtuelle

La méthode comprend en outre la sélection 150, parmi l’ensemble d’éléments anatomiques composant la modélisation anatomique actualisée associée à la seconde position, d’un élément anatomique 16.

Ladite sélection peut être réalisée par l’intermédiaire d’une interface homme-machine INT.

Ladite interface homme-machine INT comprend en outre une ou plusieurs interfaces utilisateur.

La ou les interfaces utilisateur peuvent par exemple comprendre une ou plusieurs souris d'ordinateur, un clavier, un écran tactile, une boule de commande, un microphone pour fournir un logiciel de reconnaissance vocale fonctionnant sur un processeur avec des instructions vocales, une caméra pour fournir des images de gestes capturés ou similaires à un logiciel de reconnaissance de gestes fonctionnant sur un processeur, et ainsi de suite. Il convient de comprendre que tout dispositif d'interface utilisateur existant peut être utilisé conjointement avec le système d’affichage AFF décrit par la suite.

Dans un mode de réalisation, un système d’affichage comprend une liste de labels, chaque label étant associé à un élément anatomique prédéterminé.

Dans un mode de réalisation, la méthode comprend la génération 170 d’une image virtuelle 17 et/ou la génération d’une consigne d’affichage pour faire afficher ladite image virtuelle. Ladite consigne d’affichage peut ensuite être reçue par un module d’affichage tel que celui d’un dispositif informatique d’affichage de réalité augmentée telle que décrite ci-après pour afficher ladite image virtuelle.

Dans un mode de réalisation, l’image virtuelle 17 peut comprendre une portion de la modélisation anatomique actualisée. Par exemple, l’image virtuelle comprend au moins une portion du système des os de la main de l’individu générés par les étapes précédemment décrites. Préférentiellement, la position de la main est détectée (seconde position) par le dispositif de prise d’image et l’image virtuelle comprenant ladite portion du modèle anatomique associé à la seconde position est affichée en temps réel.

Préférentiellement, l’image virtuelle est affichée de manière à ce que ladite portion du modèle anatomique se superpose avec la portion de corps de l’individu.

Dans un mode de réalisation, l’image virtuelle est affichée de manière à faire correspondre la surface de la peau du modèle 3D actualisé avec la surface de peau de l’utilisateur sur l’image optique. Préférentiellement, le modèle 3D actualisé est affiché de manière à ce que la surface de peau dudit modèle 3D soit confondu avec la surface de peau détectée sur l’image optique acquise et/ou avec le nuage de points de la portion de corps acquise par le dispositif d’acquisition d’image.

L’image virtuelle affichée incluant une portion du modèle 3D est ainsi avantageusement en cohérence avec la position de la main du sujet. L’utilisateur obtient ainsi un affichage en réalité augmentée du modèle 3D.

Préférentiellement, la portion du modèle 3D affichée ne comprend pas la surface de peau mais les éléments anatomiques internes du sujet tels que les os du sujet. Néanmoins, grâce aux informations de profondeur (distance entre l’élément anatomique et la surface de la peau du sujet) lesdits éléments anatomiques sont affichés avec une précision de localisation particulièrement avantageuse, même en cas de mouvement de la portion de corps du sujet. Dans un mode de réalisation, l’image virtuelle 17 est générée en fonction de l’élément anatomique sélectionnée. L’image virtuelle peut ainsi comprendre uniquement l’élément anatomique sélectionné 16 et/ou les éléments anatomiques adjacents de l’élément anatomique sélectionné 16.

Génération d’un attribut virtuel

Dans un mode de réalisation, la méthode comprend en outre la génération d’un attribut virtuel 15. L’attribut virtuel 15 comprend un élément à afficher reflétant une propriété de l’élément anatomique sélectionné 16.

L’attribut virtuel 15 peut comprendre un axe de direction. Dans un mode de réalisation, l’axe de direction est généré en fonction de la forme et/ou de l’orientation de l’élément anatomique sélectionné 16 selon une règle ou un ensemble de règles prédéfinies et/ou associées audit élément anatomique sélectionné.

Dans l’exemple où le modèle anatomique comprend un système d’os de la main, l’attribut virtuel 15 peut comprendre un axe confondu avec l’axe longitudinal dudit os sélectionné.

Un avantage d’afficher un tel axe sur un module d’affichage de réalité augmentée est de permettre la visualisation par le chirurgien d’un axe spécifique relatif à l’élément anatomique qu’il a préalablement sélectionné.

Dans un mode de réalisation, l’attribut virtuel comprend un indicateur anatomique préalablement généré.

L’indicateur anatomique peut être affiché sous forme de chiffre à proximité ou en superposition de la portion de corps. L’indicateur anatomique peut comprendre la valeur d’une distance entre la surface de la peau et la surface d’un élément anatomique, par exemple en un point prédéterminé et/ou sélectionné.

Dans un mode de réalisation, l’attribut virtuel 15 comprend un plan dont les coordonnées sont fonction de l’élément anatomique sélectionné. Dans un mode de réalisation, le dispositif informatique décrit ci-après affiche le plan de l’attribut virtuel comme un plan de coupe de manière à afficher une portion de la modélisation associée à la seconde position superposée à la partie du corps de l’individu en contact avec ledit plan généré. Préférentiellement, ledit plan généré est donc vu comme un plan de coupe.

Dans un mode de réalisation, l’opérateur peut sélectionner par l’interface homme-machine INT un attribut virtuel parmi une liste d’attributs virtuels tels que ceux précédemment décrits à afficher et le dispositif informatique va afficher en retour l’attribut virtuel sélectionné.

Préférentiellement, l’image virtuelle 17 et / ou l’attribut virtuel 15 sont générée et/ou affichés en temps réel à partir des images optiques et/ou tridimensionnelles acquises et reçus par le système. Ces deux informations peuvent ainsi évoluées en temps réel en fonction des mouvements du sujet.

Visualisation du modèle anatomique en temps réel via un casque de réalité augmentée.

LaFIG. 5représente schématiquement un mode de réalisation particulièrement préféré du système d’affichage AFF, dans lequel ce système est mis en œuvre sous la forme d'un dispositif informatique montable sur la tête de telle sorte que l'image virtuelle 17 puisse être générée à la vue du médecin dans le premier temps. Le dispositif comprend en outre un emplacement pour augmenter la réalité (c'est-à-dire la vue réelle) du médecin, par ex. en superposant l'image virtuelle 17 sur cette vue réelle.

Dans le contexte de la présente invention, un dispositif informatique montable sur la tête est un dispositif qui peut être porté sur la tête de son utilisateur et fournit à l'utilisateur une fonctionnalité informatique.

Le dispositif informatique montable sur la tête peut être configuré pour effectuer des tâches informatiques spécifiques telles que spécifiées dans une application logicielle (app) qui peut être récupérée sur Internet ou sur un autre support lisible par ordinateur.

Des exemples non limitatifs de tels dispositifs informatiques montables sur la tête comprennent les casques intelligents, par ex. des lunettes, des lunettes, un casque, un chapeau, une visière, un bandeau ou tout autre dispositif pouvant être supporté sur ou depuis la tête du porteur, etc.

Le dispositif informatique montable sur la tête peut comprendre le processeur PRO et/ou l’unité de calcul 2, par ex. dans un boîtier de composant 122.

Le dispositif informatique montable sur la tête peut en outre comprendre un capteur d'image ou une caméra 127 en tant que détecteur de la position de la portion de corps pour capturer une image dans un champ de vision d'un porteur du dispositif informatique portable. Le capteur d'image peut être agencé de telle sorte que lorsque le dispositif informatique montable sur la tête est porté comme prévu, le capteur d'image s'aligne avec les yeux de son porteur, c'est-à-dire qu'il produit un signal de capteur orienté vers l'avant correspondant au champ de vision de son porteur.

Un tel capteur d'image ou caméra peut être intégré au dispositif informatique montable sur la tête, par exemple intégré dans un objectif d'un dispositif informatique montable sur la tête à travers lequel son porteur observe son champ de vision, dans un support d'objectif ou un cadre pour un tel objectif, ou dans toute autre structure appropriée du dispositif informatique montable sur la tête dans laquelle le capteur optique s'aligne avec le champ de vision du porteur du dispositif informatique montable sur la tête.

Alternativement, un tel capteur d'image peut faire partie d'un dispositif informatique portable modulaire, par ex. un module de capteur d'image monté sur la tête couplée de manière communicative via une connexion filaire ou sans fil à un ou plusieurs autres modules du dispositif informatique montable sur la tête, dans lequel au moins certains des autres modules peuvent être portés sur des parties du corps autres que la tête, ou dans lequel certains des autres modules peuvent ne pas être portables, mais plutôt portables par exemple.

Le dispositif informatique montable sur la tête comprend généralement au moins un module d'affichage 125, qui peut être un module d'affichage transparent, sous le contrôle d'un contrôleur d'affichage discret (non représenté).

Alternativement, le contrôleur d'affichage peut être implémenté par un processeur du dispositif informatique montable sur la tête.

Le au moins un module d'affichage 125 est généralement agencé de telle sorte qu'un porteur du dispositif informatique montable sur la tête, par ex. le médecin présent au premier emplacement 100 peut observer l'image virtuelle 17 de la sonde échographique 11 affichée sur au moins un module d'affichage 125.

De préférence, le au moins un module d'affichage 125 est un module d'affichage transparent de telle sorte que le porteur peut observer au moins une partie d'un champ de vision à travers le module d'affichage 125, par ex. la main du sujet ou toute autre portion de corps, les outils du médecin nécessaires à la chirurgie.

Dans un mode de réalisation, le dispositif informatique montable sur la tête comprend une paire de modules d'affichage 125 comprenant un premier module d'affichage qui peut être observé par l'œil droit du porteur et un second module d'affichage qui peut être observé par l'œil gauche du porteur.

Alternativement, au moins un module d'affichage 125 peut être un module d'affichage opaque sur lequel est affichée une scène de réalité augmentée du champ de vision de son porteur, par exemple un module d'affichage 125 permettant de projeter dans le champ de vision augmenté une image virtuelle 17. À cette fin, le dispositif informatique montable sur la tête peut comprendre une caméra pour capturer le champ de vision de son porteur.

Le premier module et le deuxième module d'affichage peuvent être commandés pour afficher différentes images, par ex. pour générer une image stéréoscopique comme cela est bien connu en soi dans la technique.

Alternativement, une image peut être générée sur l'un des premier et deuxième modules d'affichage uniquement de telle sorte que le porteur puisse observer l'image générée avec un œil et le champ de vision réel avec l'autre œil. Les premier et deuxième modules d'affichage peuvent être des modules d'affichage transparents ou partiellement transparents. Alternativement, l'un des premier et deuxième modules d'affichage peut être un module d'affichage transparent ou partiellement transparent, tandis que l'autre module d'affichage est un module d'affichage opaque, c'est-à-dire un module d'affichage qui n'est pas transparent de sorte que le porteur ne puisse pas voir à travers cet affichage.

Le au moins un module d'affichage 125 peut être fourni sous n'importe quelle forme appropriée, telle qu'une partie de lentille transparente.

Alternativement, comme le montre laFIG. 4, le dispositif informatique montable sur la tête peut comprendre une paire de telles parties de lentille, c'est-à-dire une pour chaque œil, comme expliqué ci-dessus. La ou les parties de lentille transparentes peuvent être dimensionnées de telle sorte que pratiquement tout le champ de vision du porteur soit obtenu à travers la ou les parties de lentille transparentes. Par exemple, le au moins un module d'affichage 125 peut avoir la forme d'une lentille à monter dans le cadre du dispositif informatique montable sur la tête. Toute autre configuration connue de l'homme du métier peut être envisagée.

On comprendra que le cadre 128 peut avoir n'importe quelle forme appropriée et peut être constitué de n'importe quel matériau approprié, par ex. un métal, un alliage métallique, une matière plastique ou une combinaison de ceux-ci.

Plusieurs composants du dispositif informatique montable sur la tête peuvent être montés dans le cadre 128, par exemple dans un boîtier de composants 122 faisant partie du cadre 128. Le boîtier de composant 122 peut avoir n'importe quelle forme appropriée, de préférence une forme ergonomique qui permet au dispositif montable sur la tête d'être porté par son porteur d'une manière confortable.

Bras robotique

Dans un mode de réalisation, illustré sur laFIG. 7, le système comprend en outre un système de guidage. Le système de guidage peut comprendre, par exemple, un bras robot ROB pour guider un outil chirurgical OTL.

L’outil chirurgical peut comprendre un outil tranchant, un dispositif d’injection d’un produit médicamenteux ou anesthésiant, un dispositif d’insertion d’un dispositif médical tel qu’une broche, plaque, ou une vis.

Dans ce mode de réalisation, le bras robot comprend une tête conçue pour recevoir un outil chirurgical.

Préférentiellement, le système est configuré pour guider la tête de bras robot en temps réel selon une position et/ou une orientation en fonction du modèle 3D actualisé associé à la seconde position.

Dans un premier exemple, le système est configuré pour contrôler le bras robot de manière à orienter la tête du bras robot en temps réel en fonction de l’attribut virtuel généré. Par exemple, la tête du bras robot est contrôlée en fonction de l’axe 151 de l’attribut virtuel 15, préférentiellement pour aligner l’axe longitudinal de l’outil chirurgical avec ledit axe 151 de l’attribut virtuel. Le bras robot peut ainsi être guidé, manuellement par un opérateur ou de manière automatique pour atteindre un point d’intérêt de la portion de corps du sujet selon un axe prédéterminé, même si le sujet est en mouvement.

Dans un second mode de réalisation, le système est configuré pour détecter la position et/ou l’orientation de la tête de bras robot dans son environnement tel que relativement à un point d’intérêt de la portion de corps du sujet. Le système est alors également conçu pour générer une trajectoire de guidage pour déplacer la tête de bras robot depuis sa position initiale à un point cible prédéterminé. Le point cible prédéterminé et la trajectoire de guidage peuvent être mis à jour en continu à partir du nouveau modèle anatomique 3D actualisé généré et de l’attribut virtuel généré.

Préférentiellement, le bras robot peut comprendre des capteurs tels que des capteurs d’image optique et/ou tridimensionnel, par exemple pour la génération du modèle tridimensionnel actualisé ou pour la détection d’obstacles sur la trajectoire de guidage.

Logiciel et calculateur

Il convient de noter, pour éviter toute ambiguïté, que bien que la méthode ait été décrite comme une série d'étapes séquentielles, il apparaîtra immédiatement à l'homme du métier qu'au moins certaines des étapes peuvent en variante être exécutées simultanément, c'est-à-dire en parallèle.

Des aspects de la méthode décrite peuvent être fournis sous la forme d'un produit-programme informatique comprenant un support de stockage lisible par ordinateur dans lequel sont incorporées des instructions de programme lisibles par ordinateur pour, lorsqu'il est exécuté sur le processeur du système, amènent ces processeurs à mettre en œuvre les étapes pertinentes de ladite méthode.

Des aspects de la présente invention peuvent être mis en œuvre sous la forme d'un système médical 1, d’un système 2 de contrôle d’un dispositif d’affichage, d'un système d’affichage 20.

Certains aspects de la présente invention peuvent prendre la forme d'un produit programme informatique incorporé dans un ou plusieurs supports lisibles par ordinateur sur lesquels est incorporé un code de programme lisible par ordinateur.

N'importe quelle combinaison d'un ou plusieurs supports lisibles par ordinateur peut être utilisée.

Le support lisible par ordinateur peut être un support de signaux lisible par ordinateur ou un support de stockage lisible par ordinateur.

Un support de stockage lisible par ordinateur peut être, par exemple, mais sans s'y limiter, un système, un appareil ou un dispositif électronique, magnétique, optique, électromagnétique, infrarouge ou semi-conducteur, ou toute combinaison appropriée de ce qui précède.

Un tel système, appareil ou dispositif peut être accessible via toute connexion réseau appropriée ; par exemple, le système, l'appareil ou le dispositif peut être accessible sur un réseau pour récupérer le code de programme lisible par ordinateur sur le réseau.

Un tel réseau peut être par exemple Internet, un réseau de communications mobiles ou autre.

Des exemples plus spécifiques (une liste non exhaustive) du support de stockage lisible par ordinateur peuvent inclure les éléments suivants, un disque dur, une mémoire vive (RAM), un lecteur, mémoire seule (ROM), une mémoire morte programmable effaçable (EPROM ou mémoire Flash), une fibre optique, une mémoire morte de disque compact portable (CD-ROM), un périphérique de stockage optique, un périphérique de stockage magnétique ou toute autre combinaison appropriée de ce qui précède.

Dans le contexte de la présente demande, un support de stockage lisible par ordinateur peut être n'importe quel support tangible ou non-transitoire pouvant contenir ou stocker un programme destiné à être utilisé par ou en relation avec un système, un appareil ou un dispositif d'exécution d'instructions.

Un support de signal lisible par ordinateur peut comprendre un signal de données propagé dans lequel est intégré un code de programme lisible par ordinateur, par exemple en bande de base ou en tant que partie d'une onde porteuse.

Un tel signal propagé peut prendre diverses formes, y compris, sans toutefois s'y limiter, électromagnétique, optique ou toute combinaison appropriée de celles-ci. Un support de signaux lisible par ordinateur peut être tout support lisible par ordinateur qui n'est pas un support de stockage lisible par ordinateur et qui peut communiquer, propager ou transporter un programme destiné à être utilisé par ou en relation avec un système, un appareil ou un dispositif d'exécution d'instructions. Le code de programme incorporé sur un support lisible par ordinateur peut être transmis en utilisant n'importe quel support approprié, y compris, mais sans s'y limiter, le sans-fil, le fil, le câble à fibre optique, la RF, etc., ou toute combinaison appropriée de ce qui précède.

Claims (10)

1. Procédé (100) mis en œuvre par ordinateur d’aide à la chirurgie comprenant les étapes suivantes :

   • La réception (110) d’une image médicale (10) d’une portion de corps prédéterminée (11) d’un individu dans une première position ;
   • La réception (121) d’une image optique et/ou tridimensionnelle (25) de ladite portion de corps dans une seconde position différente de la première position et la détermination (120) de donnée de position de ladite portion de corps (11) caractéristique de ladite seconde position à partir de ladite image (25) réceptionnée ;
   • La comparaison (130) entre la seconde position et la première position pour générer un paramètre de transformation ;
   • La génération (140) d’un modèle 3D (14) d’une structure anatomique de ladite portion du corps, associé à la seconde position, à partir de l’image médicale reçue et à partir dudit paramètre de transformation ; ladite structure anatomique comprenant au moins un ensemble d’éléments anatomiques (16) de ladite portion de corps de l’individu ;
   • La sélection (150) d’au moins un élément anatomique (16) parmi ledit ensemble d’éléments anatomique dudit modèle 3D (14) généré et
   • La génération (160) d’un attribut virtuel (15), ledit attribut virtuel comprenant un élément caractéristique de la position et de l’orientation dudit élément anatomique (16) sélectionné dans le modèle 3D (14).
2. Procédé selon la revendication 1, caractérisé en ce que l’élément caractéristique de l’attribut virtuel (15) comprend un axe (151) ou un plan (152) dont l’emplacement et l’orientation sont générés en fonction de la position et de l’orientation dudit élément anatomique (16).
3. Procédé selon la revendication 1 ou la revendication 2, comprenant en outre la génération et la transmission (170) d’une consigne d’affichage (29) à un afficheur de réalité augmentée (AFF) pour projeter une représentation virtuelle de l’attribut virtuel (15) généré dans un champ chirurgical comprenant ladite portion de corps dudit individu tout en permettant au champ chirurgical d'être vu à travers l’afficheur de réalité augmentée (AFF).
4. Procédé selon la revendication 1, dans lequel un modèle 3D préopératoire (22) de la portion de corps associé à la première position est généré à partir l’image médicale reçue, ledit modèle 3D associé à la seconde position étant généré à partir de la comparaison et à partir dudit modèle 3D opératoire (22).
5. Procédé selon la revendication précédente, caractérisé en ce que le modèle 3D préopératoire comprend des informations de profondeur de chaque élément anatomique dudit ensemble par rapport à la surface de la peau à partir de l’image médicale reçue et le modèle 3D associé à la seconde position comprend également des informations de profondeur de chaque élément anatomique dudit ensemble par rapport à la surface de la peau à partir desdites informations du modèle 3D préopératoire.
6. Procédé selon la revendication 3 et la revendication 5, caractérisé en ce que la consigne d’affichage comprend en outre une consigne pour projeter une représentation virtuelle d’au moins une partie des éléments anatomiques du modèle 3D associé à la seconde position, dont l’emplacement d’affichage est déterminé en fonction des informations de profondeurs par rapport à la surface de main et de l’emplacement de la surface de peau de la main du sujet sur l’image optique et/ou tridimensionnelle reçue.
7. Procédé selon l’une des revendications précédentes caractérisé en ce que les éléments anatomiques comprennent des os d’une portion de squelette et en ce que l’ensemble d’éléments anatomique comprend au moins une portion de squelette comprenant un ensemble d’os connectés les uns aux autres.
8. Système (1), comprenant des moyens logiciels et/ou matériels pour la mise en œuvre des étapes du procédé selon l’une des revendications 1 à 7.
9. Produit programme d’ordinateur comprenant des instructions qui conduisent le système selon la revendication 8 à exécuter les étapes du procédé selon l’une des revendications 1 à 7.
10. Support lisible par ordinateur (MEM), sur lequel est enregistré le programme d'ordinateur selon la revendication 9.