FR3109237A1 - SYSTEM FOR CONNECTING A SURGICAL TRAINING DEVICE TO A VIRTUAL DEVICE - Google Patents
SYSTEM FOR CONNECTING A SURGICAL TRAINING DEVICE TO A VIRTUAL DEVICE Download PDFInfo
- Publication number
- FR3109237A1 FR3109237A1 FR2003651A FR2003651A FR3109237A1 FR 3109237 A1 FR3109237 A1 FR 3109237A1 FR 2003651 A FR2003651 A FR 2003651A FR 2003651 A FR2003651 A FR 2003651A FR 3109237 A1 FR3109237 A1 FR 3109237A1
- Authority
- FR
- France
- Prior art keywords
- virtual
- surgical
- calibration
- tool
- motion capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Medicinal Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Instructional Devices (AREA)
Abstract
Le dispositif d’entraînement chirurgical (10) comporte une console d’entrainement chirurgical (12), au moins un outil chirurgical (13), une unité de calcul (14), un organe de capture de mouvement (16), un dispositif d’affichage (18). Le dispositif d’affichage (18) est associé à un outil de calibration mobile (30). Le dispositif virtuel comporte une console virtuelle, au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical (13), un premier référentiel virtuel (R1) associé à l’organe de capture de mouvement (16), un deuxième référentiel virtuel (R2) associé au dispositif d’affichage (18). Le dispositif d’entraînement chirurgical comporte en outre une plaque de calibration (19) qui présente une première structure de référence (32) destinée à être associée au premier référentiel virtuel (R1), et une deuxième structure de référence (34) destinée à être associée au deuxième référentiel virtuel (R2). Figure pour l'abrégé : FIG. 1A The surgical training device (10) comprises a surgical training console (12), at least one surgical tool (13), a computing unit (14), a motion capture member (16), a device for 'display (18). The display device (18) is associated with a mobile calibration tool (30). The virtual device comprises a virtual console, at least one virtual tool, each virtual tool having an avatar of the surgical tool (13), a first virtual frame of reference (R1) associated with the movement capture member (16), a second virtual repository (R2) associated with the display device (18). The surgical training device further comprises a calibration plate (19) which has a first reference structure (32) intended to be associated with the first virtual reference frame (R1), and a second reference structure (34) intended to be. associated with the second virtual repository (R2). Figure for the abstract: FIG. 1A
Description
Domaine technique de l'inventionTechnical field of the invention
La présente invention concerne le domaine des instruments et matériels médicaux. Plus particulièrement, l’invention concerne un dispositif de simulations chirurgicales.The present invention relates to the field of medical instruments and materials. More particularly, the invention relates to a surgical simulation device.
Arrière-plan techniqueTechnical background
Il est connu, dans le domaine de la médecine, de proposer des dispositifs d’entraînement aux apprenants chirurgiens et chirurgiennes. Les apprenants peuvent bien évidemment s’entraîner sur des corps de défunts mais ceux-ci sont en nombre limité. Les apprenants peuvent également s’entraîner sur des patients vivants sous la supervision d’un chirurgien ou d’une chirurgienne confirmé(e), mais cette pratique présente toutefois un risque pour le patient. Il est donc essentiel de proposer des systèmes permettant de libérer l’apprentissage de la chirurgie de la disponibilité de corps de défunts ou de patients.It is known, in the field of medicine, to offer training devices to apprentice surgeons. Learners can of course practice on the bodies of the deceased, but these are limited in number. Learners can also practice on living patients under the supervision of a senior surgeon, but this practice poses a risk to the patient. It is therefore essential to propose systems that make it possible to free the learning of surgery from the availability of the bodies of the deceased or of patients.
De nombreux exemples de tels systèmes existent déjà dans l’état de la technique, comme illustrés par exemple, dans les documents EP 1746558 B1, et WO 2019204615 (A1).Many examples of such systems already exist in the state of the art, as illustrated for example in documents EP 1746558 B1, and WO 2019204615 (A1).
Le document EP1746558 B divulgue un système pour simuler une opération chirurgicale, par un utilisateur, sur un corps, simulé avec au moins deux instruments réels. Le système comprend une piste longitudinale et une pluralité de chariots mobiles le long de ladite piste. Chaque chariot a des moyens de serrage et des moyens pour faire tourner et déplacer longitudinalement lesdits instruments réels. Le système comprend également des moyens de rétroaction pour recevoir et transmettre, à la main de l'utilisateur, une force de rétroaction dudit instrument réel par rapport à la caractéristique de simulation, des moyens pour reconnaître un instrument réel à insérer dans lesdits moyens de serrage, moyennant quoi ledit instrument réel peut être fixé à l'intérieur desdits moyens de serrage pour être déplacé longitudinalement et tourné par l'utilisateur.Document EP1746558 B discloses a system for simulating a surgical operation, by a user, on a body, simulated with at least two real instruments. The system comprises a longitudinal track and a plurality of carriages movable along said track. Each carriage has clamping means and means for rotating and longitudinally moving said real instruments. The system also includes feedback means for receiving and transmitting, to the user's hand, a feedback force of said real instrument with respect to the simulation characteristic, means for recognizing a real instrument to be inserted into said clamping means , whereby said real instrument can be fixed inside said clamping means to be moved longitudinally and turned by the user.
Le document WO 2019204615 (A1) divulgue un appareil comprenant un dispositif d’endoscopie, et un dispositif de suivi adapté pour fonctionner avec un système de suivi tridimensionnel pour suivre l'emplacement et l'orientation du dispositif d’endoscopie dans trois dimensions dans un environnement simulé de salle d'opération. L'appareil comprend également un modèle physique de tête de patient comprenant des composants durs et mous, et le dispositif d’endoscopie est configuré pour être inséré dans le modèle physique pour fournir une rétroaction haptique de la chirurgie endoscopique.WO 2019204615(A1) discloses an apparatus comprising an endoscopy device, and a tracking device adapted to operate with a three-dimensional tracking system to track the location and orientation of the endoscopy device in three dimensions in a simulated operating room environment. The device also includes a physical model of the patient's head including hard and soft components, and the endoscopy device is configured to be inserted into the physical model to provide haptic feedback of the endoscopic surgery.
Les deux documents divulguent des dispositifs d’entraînement à la chirurgie en combinant un système mécanique (instruments chirurgicaux et/ou consoles d’entraînement) avec un système de capteurs et un système d’affichage. Les capteurs permettent de déterminer le positionnement des instruments utilisés par l’opérateur par rapport aux éléments de la console d’entraînement. Des données sont affichées sur un système d’affichage pour aider l’apprenant chirurgien dans ses démarches. Toutefois, aucun de ces dispositifs ne permet une immersion réelle. Les conditions du bloc opératoire ne sont pas reproduites et l’apprenant ne peut pas retrouver toutes les sensations propres à une intervention chirurgicale en bloc. Il manque, aux divulgations de l’état de la technique, une composante virtuelle à la simulation, afin de se rapprocher de manière significative des conditions d’opération en bloc. La seule manière de reproduire ces conditions de manière pertinente est de plonger l’opérateur dans un monde virtuel, tout en lui permettant de manipuler des instruments chirurgicaux réels afin de le préparer au mieux, aux véritables conditions du bloc.Both documents disclose surgical training devices by combining a mechanical system (surgical instruments and/or training consoles) with a sensor system and a display system. The sensors make it possible to determine the positioning of the instruments used by the operator in relation to the elements of the training console. Data is displayed on a display system to help the learner surgeon in his steps. However, none of these devices allows real immersion. The conditions of the operating theater are not reproduced and the learner cannot find all the sensations specific to a surgical intervention. The prior art disclosures lack a virtual component to the simulation, in order to significantly approximate block operation conditions. The only way to reproduce these conditions in a relevant way is to immerse the operator in a virtual world, while allowing him to manipulate real surgical instruments in order to best prepare him for the real conditions of the block.
La réalité virtuelle est par ailleurs utilisée pour accompagner un(e) chirurgien(ne) au cours d’une intervention chirurgicale, comme par exemple illustré par le document WO 2017114834 (A1).Virtual reality is also used to accompany a surgeon during a surgical intervention, as for example illustrated by the document WO 2017114834 (A1).
Le document WO 2017114834 (A1) divulgue une unité de commande prévue pour un système de robot chirurgical, comprenant un robot configuré pour faire fonctionner un outil chirurgical sur un patient. L'unité de commande comprend un processeur configuré pour transmettre des images en direct acquises sur le patient à un dispositif de réalité virtuelle (VR) pour affichage. L’unité traite les données d'entrée reçues du dispositif VR pour déterminer une cible chez le patient et déterminer un chemin pour que l’outil chirurgical atteigne la cible sur la base des images en direct et des données d'entrée traitées ; et pour transmettre des signaux de commande pour amener le robot à guider l’outil chirurgical vers la cible via le chemin déterminé.WO 2017114834 (A1) discloses a control unit provided for a surgical robot system, comprising a robot configured to operate a surgical tool on a patient. The control unit includes a processor configured to transmit live images acquired from the patient to a virtual reality (VR) device for display. The unit processes the input data received from the VR device to determine a target in the patient and determines a path for the surgical tool to reach the target based on the live images and the processed input data; and to transmit command signals to cause the robot to guide the surgical tool to the target via the determined path.
Toutefois, dans un cas d’accompagnement d’un chirurgien(ne) au cours d’une opération, il ne s’agit pas de recréer les conditions du bloc opératoire dans le but d’y familiariser un(e) débutant(e).However, in a case of accompanying a surgeon during an operation, it is not a question of recreating the conditions of the operating room in order to familiarize a beginner with it. .
Les divulgations de l’état de la technique ne permettent pas à l’utilisateur de manipuler de véritables instruments de chirurgie simultanément dans le monde physique et dans un monde virtuel reproduisant les conditions opératoires du bloc, notamment avec une précision suffisante pour vraiment permettre à un utilisateur de ne pas sentir de décalage entre sa manipulation physique dans le monde réel et l’effet ressenti dans le bloc opératoire virtuel.The disclosures of the state of the art do not allow the user to manipulate real surgical instruments simultaneously in the physical world and in a virtual world reproducing the operating conditions of the block, in particular with sufficient precision to really allow a user not to feel any discrepancy between his physical manipulation in the real world and the effect felt in the virtual operating room.
C’est à ces inconvénients qu’entend plus particulièrement remédier l’invention en proposant un dispositif de simulation chirurgicale alliant un monde virtuel à l’utilisation d’instruments chirurgicaux réels en connectant les deux univers, l’un réel, l’autre virtuel avec une grande précision.It is these drawbacks that the invention more particularly intends to remedy by proposing a surgical simulation device combining a virtual world with the use of real surgical instruments by connecting the two worlds, one real, the other virtual. with great precision.
La présente invention a notamment pour objectif de proposer d’une part, un système de connexion entre un monde virtuel et un monde réel fiable et robuste, permettant de relier un dispositif de simulation chirurgicale mobile avec un univers virtuel recréant, pour l’utilisateur, les conditions du bloc opératoire.The object of the present invention is in particular to propose, on the one hand, a reliable and robust connection system between a virtual world and a real world, making it possible to connect a mobile surgical simulation device with a virtual universe recreating, for the user, operating room conditions.
On parvient à réaliser cet objectif, conformément à l’invention grâce à un système de connexion d’un dispositif d’entraînement chirurgical à un dispositif virtuel, le dispositif d’entraînement chirurgical comportant :This objective is achieved, in accordance with the invention, by means of a system for connecting a surgical training device to a virtual device, the surgical training device comprising:
- une console d’entrainement chirurgical formant zone de travail,a surgical training console forming a work area,
- au moins un outil chirurgical destiné à être manipulé par un opérateur en interaction avec la console d’entraînement chirurgical,at least one surgical tool intended to be manipulated by an operator in interaction with the surgical training console,
- une unité de calcul,a calculation unit,
- un organe de capture de mouvement relié à l’organe de calcul,a motion capture component connected to the calculation component,
- un dispositif d’affichage relié à l’unité de calcul, le dispositif d’affichage étant associé à un outil de calibration mobile,a display device connected to the calculation unit, the display device being associated with a mobile calibration tool,
- l’au moins un outil chirurgical étant muni d’au moins un corps réfléchissant de manière à ce que la position de l’au moins un outil chirurgical soit suivie en temps réel par l’organe de capture de mouvement,the at least one surgical tool being provided with at least one reflective body so that the position of the at least one surgical tool is tracked in real time by the motion capture member,
le dispositif virtuel comportant :the virtual device comprising:
- une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical,a virtual console having a geometry corresponding to the geometry of the surgical training console,
- au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical,at least one virtual tool, each virtual tool presenting an avatar of the surgical tool,
- un premier référentiel virtuel définissant un premier univers virtuel associé à l’organe de capture de mouvement,a first virtual repository defining a first virtual universe associated with the motion capture device,
- un deuxième référentiel virtuel définissant un deuxième univers virtuel associé au dispositif d’affichage,a second virtual repository defining a second virtual universe associated with the display device,
la console virtuelle et l’au moins un outil virtuel étant rendus visibles, pour l’opérateur, par le dispositif d’affichage,the virtual console and the at least one virtual tool being made visible, for the operator, by the display device,
le dispositif d’entraînement chirurgical comportant en outre une plaque de calibration, cette plaque de calibration présentant :the surgical drive device further comprising a calibration plate, this calibration plate having:
- une première structure de référence destinée à être associée au premier référentiel virtuel, eta first reference structure intended to be associated with the first virtual repository, and
- une deuxième structure de référence destinée à être associée au deuxième référentiel virtuel, la deuxième structure de référence étant une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile,a second reference structure intended to be associated with the second virtual reference frame, the second reference structure being an imprint having a shape complementary to that of the mobile calibration tool,
de manière à obtenir l’alignement des deux référentiels virtuels, cet alignement permettant une superposition stable des deux univers virtuels.so as to obtain the alignment of the two virtual repositories, this alignment allowing a stable superposition of the two virtual universes.
Ainsi, cette solution permet d’atteindre l’objectif susmentionné. En particulier, Le système de connexion selon l’invention est peu encombrant, il ne nécessite que peu d’éléments réels et il peut être monté dans n’importe quel environnement.Thus, this solution achieves the above objective. In particular, the connection system according to the invention is compact, it requires only a few real elements and it can be mounted in any environment.
Chaque instrument de chirurgie utilisé dans le cadre des étapes opératoires d’une procédure chirurgicale simulée et la console d’entraînement chirurgical sont connectés en temps réel à la réalité virtuelle et permettent de plonger tout utilisateur dans un environnement virtuel de qualité tout en le laissant manipuler de véritables outils chirurgicaux, dans un environnement réel qui peut être extrêmement éloigné de celui d’un bloc opératoire réel. Il pourrait par exemple s’agir d’une chambre d’étudiant ou d’une salle de classe.Each surgical instrument used in the operating steps of a simulated surgical procedure and the surgical training console are connected in real time to virtual reality and allow any user to be immersed in a quality virtual environment while letting them manipulate real surgical tools, in a real environment which can be extremely different from that of a real operating room. For example, it could be a dorm room or a classroom.
Le système de connexion selon l’invention peut comprendre une ou plusieurs des caractéristiques suivantes, prises isolément les unes des autres ou en combinaison les unes avec les autres :The connection system according to the invention may comprise one or more of the following characteristics, taken separately from each other or in combination with each other:
- la première structure de référence de la plaque de calibration peut comporter trois éléments de référence destinés à former un repère orthogonal,the first reference structure of the calibration plate may comprise three reference elements intended to form an orthogonal reference frame,
- chaque élément de référence de la plaque de calibration peut être un élément réfléchissant destiné à interagir avec l’organe de capture de mouvement,each reference element of the calibration plate can be a reflective element intended to interact with the motion capture device,
- l’outil de calibration mobile peut être un outil chirurgical,the mobile calibration tool can be a surgical tool,
- l’au moins un corps réfléchissant de l’outil chirurgical peut être un support non planaire comportant au moins trois billes réfléchissantes,the at least one reflective body of the surgical tool can be a non-planar support comprising at least three reflective balls,
- la console d’entraînement chirurgical peut être munie d’au moins un élément réfléchissant de manière à ce que la position de la console d’entraînement chirurgical soit suivi en temps réel par l’organe de capture de mouvement,the surgical training console may be provided with at least one reflective element so that the position of the surgical training console is monitored in real time by the motion capture device,
- la console d’entraînement chirurgical peut comporter deux parties, une première partie formant bâti et une deuxième partie formant plaque d’entraînement chirurgical, l’au moins un élément réfléchissant étant situé sur la plaque d’entraînement chirurgical,the surgical training console may comprise two parts, a first part forming a frame and a second part forming a surgical training plate, the at least one reflective element being located on the surgical training plate,
- la plaque de calibration peut être une plaque de calibration amovible,the calibration plate can be a removable calibration plate,
- la plaque d’entraînement chirurgical peut être une plaque d’entraînement chirurgical amovible, la plaque de calibration amovible étant apte à être positionnée sur le bâti de la console d’entraînement chirurgical, en complément ou en remplacement de la plaque d’entraînement chirurgical amovible,the surgical training plate may be a removable surgical training plate, the removable calibration plate being capable of being positioned on the frame of the surgical training console, in addition to or replacing the removable surgical training plate ,
- l’organe de capture de mouvement peut comporter au moins une caméra infrarouge et au moins un émetteur infrarouge, chaque élément et/ou corps réfléchissant étant un élément e/ou corps réfléchissant aux infrarouges.the motion capture member may comprise at least one infrared camera and at least one infrared emitter, each reflective element and/or body being an infrared reflective element and/or body.
La présente invention a également pour objet, un procédé de calibration d’un système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que la calibration comporte les étapes suivantes, dans l’ordre d’énonciation :The present invention also relates to a method for calibrating a connection system according to any one of the preceding claims, characterized in that the calibration comprises the following steps, in the order of enunciation:
- positionnement de la console d’entrainement chirurgical (12) dans une zone de détection de l’organe de capture de mouvement (16),positioning of the surgical training console (12) in a detection zone of the motion capture device (16),
- positionnement de la plaque de calibration (19) dans la zone de détection de l’organe de capture de mouvement (16),positioning of the calibration plate (19) in the detection zone of the motion capture device (16),
- calibration de l’organe de capture de mouvements (16) sur la première structure de référence (32) de la plaque de calibration (19) de manière à associer le premier référentiel virtuel (R1) à la plaque de calibration (19),calibration of the motion capture device (16) on the first reference structure (32) of the calibration plate (19) so as to associate the first virtual reference frame (R1) with the calibration plate (19),
- calibration du dispositif d’affichage (18) sur la deuxième structure de référence (34) de la plaque de calibration (19) de manière à associer le deuxième référentiel (R2) virtuel à la plaque de calibration (19),calibration of the display device (18) on the second reference structure (34) of the calibration plate (19) so as to associate the second virtual reference frame (R2) with the calibration plate (19),
- alignement des deux référentiels virtuels (R1, R2).alignment of the two virtual repositories (R1, R2).
L’étape de calibration de l’organe de capture de mouvement et l’étape de calibration du dispositif d’affichage peuvent être réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul.The step of calibrating the motion capture member and the step of calibrating the display device can be carried out by means of a computer program recorded in the calculation unit.
Brève description des figuresBrief description of figures
D'autres caractéristiques et avantages de l'invention apparaitront au cours de la lecture de la description détaillée qui va suivre pour la compréhension de laquelle on se reportera aux dessins annexés dans lesquels :Other characteristics and advantages of the invention will appear during the reading of the detailed description which will follow for the understanding of which reference will be made to the appended drawings in which:
Description détaillée de l'inventionDetailed description of the invention
La présente invention porte sur un système de connexion 10 d’un dispositif d’entraînement chirurgical à un dispositif virtuel. Nous allons, dans un premier temps, décrire le dispositif d’entraînement chirurgical 10 puis nous décrirons le dispositif virtuel et finalement, la connexion des deux dispositifs entre eux.The present invention relates to a system 10 for connecting a surgical training device to a virtual device. We will first describe the surgical training device 10, then we will describe the virtual device and finally, the connection of the two devices to each other.
Comme représenté schématiquement sur la figure, 1, on voit que le dispositif d’entraînement chirurgical 10 comporte :As represented schematically in the figure, 1, it is seen that the surgical training device 10 comprises:
- une console d'entraînement chirurgical 12 formant zone de travail,a surgical training console 12 forming a work area,
- au moins un outil chirurgical 13 destiné à être manipulé par un opérateur en interaction avec la console d’entraînement 12.at least one surgical tool 13 intended to be manipulated by an operator in interaction with the training console 12.
- une unité de calcul 14 comportant un logiciel de tracking,a calculation unit 14 comprising tracking software,
- un organe de capture de mouvement 16 relié à l’organe de calcul 14,a motion capture device 16 connected to the calculation device 14,
- un dispositif d’affichage 18 relié à l’unité de calcul 14,a display device 18 connected to the calculation unit 14,
- une plaque de calibration 19.a calibration plate 19.
La puissance électrique du système est donnée par un bloc d’alimentation 12V/3A (non représenté). Les données sont quant à elles transmises par un moyen de communication filaire (USB 2.0, Ethernet) ou par un moyen de communication non filaire (Wifi, Bluetooth, …).The electrical power of the system is given by a 12V/3A power supply unit (not shown). As for the data, they are transmitted by a wired means of communication (USB 2.0, Ethernet) or by a non-wired means of communication (Wifi, Bluetooth, etc.).
La console d’entraînement chirurgical 12 représentée sur la figure 2, comporte deux parties, une première partie 12a formant bâti et une deuxième partie 12b formant plaque d’entraînement chirurgical. Le bâti 12a présente une structure générale de table avec quatre pieds à hauteur réglable et un cadre 20. La plaque d’entraînement chirurgical 12b comporte un plateau 22 aux dimensions ajustées au cadre 20 du bâti 12a. Le plateau 22 de la plaque d’entraînement chirurgical 12b est destiné à être posée sur le cadre 20 du bâti 12a, de manière à ce que le bâti 12a supporte la plaque d’entraînement chirurgical 12b. Sur le plateau 22 de la plaque d’entraînement chirurgical 12b, une imitation 24 de structure anatomique est fixée. Cette imitation 24 présente sensiblement les mêmes dimensions et propriétés mécaniques que la structure anatomique biologique. La plaque d’entraînement chirurgical 12b est une plaque d’entraînement chirurgical amovible, c’est-à-dire qu’elle peut être retirée du bâti 12a. Une console d’entraînement chirurgical 12 peut ainsi comprendre plusieurs plaques d’entraînement chirurgical 12b différentes, chaque plaque d’entraînement chirurgical 12b comportant une imitation 24 différente. La plaque d’entraînement chirurgical 12b est fixée sur le bâti 12a au moyen, par exemple, de vis 25. Dans un mode de réalisation non représenté, une plaque de stabilisation est positionnée entre le bâti 12a et la plaque d’entraînement chirurgical 12b pour augmenter la stabilité de la console d’entraînement chirurgical 12.The surgical training console 12 shown in Figure 2, comprises two parts, a first part 12a forming a frame and a second part 12b forming a surgical training plate. Frame 12a has a general table structure with four height-adjustable legs and a frame 20. Surgical drive plate 12b includes a plate 22 with dimensions adjusted to frame 20 of frame 12a. The tray 22 of the surgical drive plate 12b is intended to be placed on the frame 20 of the frame 12a, so that the frame 12a supports the surgical drive plate 12b. On the plate 22 of the surgical training plate 12b, an imitation 24 of anatomical structure is fixed. This imitation 24 has substantially the same dimensions and mechanical properties as the biological anatomical structure. The surgical drive plate 12b is a removable surgical drive plate, i.e. it can be removed from the frame 12a. A surgical training console 12 can thus comprise several different surgical training plates 12b, each surgical training plate 12b comprising a different imitation 24. The surgical drive plate 12b is fixed to the frame 12a by means, for example, of screws 25. In an embodiment not shown, a stabilization plate is positioned between the frame 12a and the surgical drive plate 12b to increase the stability of the surgical training console 12.
La console d’entraînement chirurgical 12 est munie d’au moins un élément réfléchissant 26 (voir figure 3). En particulier, cet élément réfléchissant 26 est un élément réfléchissant aux infrarouges. De cette manière, la position de la console d’entraînement chirurgical 12 peut être suivie en temps réel par l’organe de capture de mouvement 16. Cet élément réfléchissant 25 est une bille de tracking. Cet élément réfléchissant est situé sur le plateau 22 de la plaque d’entraînement chirurgical 12b. Dans le mode de réalisation illustre aux figures 2 et 3, le plateau 22 de la plaque d’entraînement chirurgical 12b présente une forme sensiblement rectangulaire et elle comporte un élément réfléchissant 26 (une bille de tracking) au voisinage de chacun de ses coins. De manière plus précise, les quatre éléments réfléchissants 26 sont fixés (par exemple par vissage) sur les largeurs de la plaque 22, deux de chaque côté. La distance entre deux éléments réfléchissants 26 n’est pas la même d’un côté et de l’autre, 9cm pour l’un et 11cm pour l’autre, de manière à permettre à l’organe de capture de mouvement d’identifier l’orientation de la console d’entraînement chirurgical 12.The surgical training console 12 is provided with at least one reflective element 26 (see Figure 3). In particular, this reflective element 26 is an infrared reflective element. In this way, the position of the surgical training console 12 can be tracked in real time by the motion capture device 16. This reflective element 25 is a tracking ball. This reflective element is located on the plate 22 of the surgical drive plate 12b. In the embodiment illustrated in Figures 2 and 3, the plate 22 of the surgical training plate 12b has a substantially rectangular shape and it includes a reflective element 26 (a tracking ball) in the vicinity of each of its corners. More precisely, the four reflective elements 26 are fixed (for example by screwing) on the widths of the plate 22, two on each side. The distance between two reflective elements 26 is not the same on one side and the other, 9cm for one and 11cm for the other, so as to allow the motion capture device to identify orientation of the surgical training console 12.
La console d'entraînement chirurgical 12 doit être positionnée de telle sorte qu’elle soit vue par l’organe de capture de mouvement 16 même si elle est légèrement déplacée, par exemple si un utilisateur donné, par mégarde, un coup de pied dans les pieds du bâti 12a. en effet, comme explicité plus loin, la console d’entraînement chirurgical 12 est directement connectée, après calibration du système, à la position à laquelle l’opérateur perçoit, dans le monde virtuel, le patient à opérer. Si cette position n’est pas captée dans l’espace, un décalage de la console d’entraînement chirurgical 12 peut engendrer un décalage avec l’image (du patient à opérer) perçue par l’opérateur le monde virtuel. De préférence, le bâti 12a (et donc la zone de travail de la console d’entraînement chirurgical 12) est positionné à une distance idéale de 1,9m de l’organe de capture de mouvement 16. L’organe 16 fait face à la zone de travail de la console 12 et le centre de son champ de vue doit se situer à 0,5m au-dessus du bâti 12a (voir figure 1).The surgical trainer 12 should be positioned such that it is seen by the motion capture member 16 even if it is moved slightly, for example if a user inadvertently kicks the frame feet 12a. indeed, as explained below, the surgical training console 12 is directly connected, after calibration of the system, to the position at which the operator perceives, in the virtual world, the patient to be operated on. If this position is not captured in space, a shift of the surgical training console 12 can cause a shift with the image (of the patient to be operated) perceived by the operator in the virtual world. Preferably, the frame 12a (and therefore the work area of the surgical training console 12) is positioned at an ideal distance of 1.9 m from the motion capture device 16. The device 16 faces the work area of the console 12 and the center of its field of view must be 0.5 m above the frame 12a (see Figure 1).
Lorsque l’opérateur utilise le dispositif d’entraînement chirurgical, il manipule l’outil chirurgical 13 et interagit avec l’imitation 24 de la plaque d’entraînement chirurgical 12b de la console d’entraînement chirurgical 12. L’outil représenté en figure 4 est un outil pour la dissection des tissus et l’hémostase. Ceci permet de simuler une intervention chirurgicale. L’au moins un outil chirurgical 13 est par ailleurs muni d’au moins un corps réfléchissant 28. De même que pour la console d’entrainement chirurgical 12, ce corps réfléchissant 28 est un corps réfléchissant aux infrarouges. Ainsi la position de cet outil chirurgical 13 est également suivie en temps réel par l’organe de capture de mouvement 16. Le corps réfléchissant 28 de l’outil chirurgical 13 est un support 29 non planaire comportant au moins trois éléments réfléchissants 26. Ces éléments réfléchissants 26 sont des billes réfléchissantes aux infrarouges. La taille des billes est de 12mm de diamètre. Il a été constaté que des billes présentant un diamètre plus petit, engendrent une perte de tracking. Par ailleurs, des billes plus grosses provoquent une occlusion des billes entres elles. Le corps réfléchissant 28 comportant un support 29 non planaire est classiquement appelé cluster. Le support 29 est conçu afin de garantir la présence minimale de trois billes formant un plan, dans le champ de vision de l’organe de capture de mouvement 16. Cela permet de définir avec précision la position et l’orientation du corps réfléchissant 28 (cluster) et donc de l’outil chirurgical 13.When the operator uses the surgical trainer, he manipulates the surgical tool 13 and interacts with the imitation 24 of the surgical trainer plate 12b of the surgical trainer console 12. The tool shown in Figure 4 is a tool for tissue dissection and hemostasis. This makes it possible to simulate a surgical intervention. The at least one surgical tool 13 is also provided with at least one reflective body 28. As with the surgical training console 12, this reflective body 28 is an infrared reflective body. Thus the position of this surgical tool 13 is also monitored in real time by the motion capture member 16. The reflective body 28 of the surgical tool 13 is a non-planar support 29 comprising at least three reflective elements 26. These elements reflectors 26 are infrared reflective balls. The size of the balls is 12mm in diameter. It has been observed that balls with a smaller diameter cause a loss of tracking. Furthermore, larger balls cause an occlusion of the balls between them. The reflective body 28 comprising a non-planar support 29 is conventionally called a cluster. The support 29 is designed to guarantee the minimum presence of three balls forming a plane, in the field of vision of the motion capture member 16. This makes it possible to define with precision the position and the orientation of the reflecting body 28 ( cluster) and therefore of the surgical tool 13.
La forme de ce cluster peut être apparentée à une agrégation de triangles non congruents pour éviter une erreur de reconstruction par le logiciel de tracking. La forme non planaire du corps réfléchissant 28 implique que chaque trinôme de billes réfléchissantes forme/est contenu dans un plan différent. Comparativement à un cluster de géométrie plane, cette forme non planaire permet d’obtenir 60° de liberté en plus lors d’une rotation de l’outil chirurgical 13 sur lui-même mais aussi une diminution de la perte de tracking de 50%lors de la phase d’insertion de l’instrument chirurgical dans l’imitation 24 de la console d’entrainement chirurgical 12. Cette forme facilite de plus la manipulation simultanée de deux instruments chirurgicaux 13 sans provoquer de gêne ou de conflit entre eux : en effet, elle minimise le risque de collision et l’occlusion de clusters lorsque deux instruments sont proches l’un de l’autre (lors d’une chirurgie coelioscopique par exemple).The shape of this cluster can be related to an aggregation of incongruent triangles to avoid a reconstruction error by the tracking software. The non-planar shape of the reflective body 28 implies that each trinomial of reflective balls forms/is contained in a different plane. Compared to a cluster of flat geometry, this non-planar shape makes it possible to obtain 60° more freedom during a rotation of the surgical tool 13 on itself but also a reduction in the loss of tracking of 50% during of the phase of insertion of the surgical instrument into the imitation 24 of the surgical training console 12. This form also facilitates the simultaneous manipulation of two surgical instruments 13 without causing discomfort or conflict between them: indeed , it minimizes the risk of collision and the occlusion of clusters when two instruments are close to each other (during laparoscopic surgery for example).
On appelle occlusion la superposition de deux objets 3D dans un plan 2D avec pour conséquence une perte d'information. Dans le cas présent, si on regarde un objet muni de billes réfléchissantes avec l’organe de capture de mouvement 16, on peut faire tourner l'objet jusqu'à ce que deux billes se "superposent" visuellement, la première bille cachant la seconde, et on observe une perte d'information sur la position de la seconde bille. Il devient alors impossible de savoir si elle est située 2 cm ou 1km derrière la première bille. On peut donc voir ça comme un angle mort où on ne voit pas ce qu'il passe à cause du premier objet qui cache le deuxième objet.We call occlusion the superimposition of two 3D objects in a 2D plane with the consequence of a loss of information. In the present case, if we look at an object fitted with reflective balls with the motion capture device 16, we can rotate the object until two balls "superimpose" visually, the first ball hiding the second , and we observe a loss of information on the position of the second ball. It then becomes impossible to know if it is located 2 cm or 1 km behind the first marble. So we can see that as a blind spot where we don't see what's going on because of the first object hiding the second object.
Le cluster a été développé pour permettre un montage facile sur tout type d’outils chirurgicaux 13. Il présente ainsi deux trous M4 pour garantir l’orientation du cluster une fois fixé à un outil chirurgical 13. On appelle M4, un trou de diamètre 4mm en norme ISO (M4).The cluster has been developed to allow easy mounting on any type of surgical tool 13. It thus has two M4 holes to guarantee the orientation of the cluster once fixed to a surgical tool 13. We call M4 a hole with a diameter of 4mm in ISO standard (M4).
La forme du cluster a été conçue pour garantir un maximum de degré de liberté dans les mouvements de l’opérateur et aussi minimiser l’impact de l’ajout du cluster sur l’outil chirurgical 13. En effet, l’ergonomie du cluster est réfléchie pour ne pas gêner l’opérateur dans ses gestes : par exemple tourner une molette avec l’index. De même, toutes les fonctionnalités de l’instrument chirurgical 13 doivent rester inchangées.The shape of the cluster has been designed to guarantee a maximum degree of freedom in the movements of the operator and also to minimize the impact of the addition of the cluster on the surgical tool 13. Indeed, the ergonomics of the cluster is thoughtful so as not to hinder the operator in his gestures: for example, turning a wheel with the index finger. Likewise, all the functionalities of the surgical instrument 13 must remain unchanged.
Ainsi, la zone de travail de la console 12 doit maximiser la liberté des mouvements de l’opérateur et aussi maximiser la visibilité des éléments réfléchissants 26 du corps réfléchissant 28 de chaque outil chirurgical 13. Une position trop proche de l’organe de capture de mouvement 16 ne permet pas de voir tous les mouvements de l’outil chirurgical 13 manipulé par l’opérateur. Une position de l’organe de capture de mouvement 16 trop éloignée pénalise la reconstruction des clusters : en effet, plus l’organe de capture de mouvement 16 est loin, moins les billes vont réfléchir la lumière émise par l’organe 16 et celui-ci les confond ou ne les voit plus.Thus, the work area of the console 12 must maximize the operator's freedom of movement and also maximize the visibility of the reflective elements 26 of the reflective body 28 of each surgical tool 13. A position too close to the movement 16 does not make it possible to see all the movements of the surgical tool 13 manipulated by the operator. A position of the motion capture member 16 that is too far away penalizes the reconstruction of the clusters: in fact, the further the motion capture member 16 is, the less the balls will reflect the light emitted by the member 16 and that it confuses them or no longer sees them.
L’unité de calcul 14 est choisie pour être capable de faire un rendu temps réel de haute résolution en réalité virtuelle.The calculation unit 14 is chosen to be able to perform high resolution real-time rendering in virtual reality.
L’organe de capture de mouvement 16 est, dans le mode de réalisation de la figure 1A, une barre de tracking. Cette barre de tracking est composée de trois caméras infrarouges espacées chacune de 25cm l’une de l’autre, chaque caméra ayant trois émetteurs infrarouges disposés autour d’elle. Les caméras présentent une résolution de 640x480 pixels avec une fréquence maximum de 120Hz. Chaque lentille de caméra possède un filtre infrarouge de 800nm. Chaque émetteur infrarouge est composé d’un bandeau circulaire de 26 LED infrarouges de puissance variable (portée comprise entre 0.6m et 4.5m) et d’une bande passante de 850nm. L’organe de capture de mouvement 16 est fixé sur un support mobile réglable à 2 mètres de hauteur. Dans un autre mode de réalisation (voir figure 1B), l’organe de capture de mouvement 16 peut comporter quatre caméras infrarouges indépendantes, positionnées autour de la console 12 et chacune reliée à l’unité de calcul 14.The motion capture member 16 is, in the embodiment of FIG. 1A, a tracking bar. This tracking bar is made up of three infrared cameras each spaced 25cm apart, each camera having three infrared emitters arranged around it. The cameras have a resolution of 640x480 pixels with a maximum frequency of 120Hz. Each camera lens has an 800nm infrared filter. Each infrared emitter is made up of a circular strip of 26 infrared LEDs of variable power (range between 0.6m and 4.5m) and a bandwidth of 850nm. The motion capture device 16 is fixed on a mobile support adjustable to 2 meters in height. In another embodiment (see FIG. 1B), motion capture device 16 may comprise four independent infrared cameras, positioned around console 12 and each connected to computing unit 14.
Le système de connexion selon l’invention est basé sur l’infrarouge. Ceci permet de limiter les risques d’occlusion qui peuvent pénaliser le suivi continu du positionnement de l’instrument chirurgical 13 et de la console d’entraînement chirurgical 12. Ceci permet également de connecter simultanément un grand nombre d’instruments chirurgicaux 13 et de veiller à la parfaite reconnaissance de chacun de ces instruments chirurgicaux 13 par le système de suivi.The connection system according to the invention is based on infrared. This makes it possible to limit the risks of occlusion which can penalize the continuous monitoring of the positioning of the surgical instrument 13 and of the surgical training console 12. This also makes it possible to simultaneously connect a large number of surgical instruments 13 and to ensure to the perfect recognition of each of these surgical instruments 13 by the tracking system.
Le dispositif d’affichage 18 (voir figure 7) peut par exemple être un casque de réalité virtuelle, ajustable à l'utilisateur et pouvant fournir un retour audio. Plus particulièrement, il peut s’agir d'un casque HP reverb® possédant deux écrans d'une résolution de 2160x2160 pixels. Chaque écran a une fréquence d'affichage de 90 Hz. Le casque est relié à l'unité de calcul 14 par un câble (par exemple un câble displayport.ou hdmi).The display device 18 (see FIG. 7) can for example be a virtual reality headset, adjustable to the user and able to provide audio feedback. More specifically, it can be an HP reverb® headset with two screens with a resolution of 2160x2160 pixels. Each screen has a display frequency of 90 Hz. The headset is connected to the calculation unit 14 by a cable (for example a displayport.or hdmi cable).
De manière connue en soi, le dispositif d’affichage 18 est associé à un outil de calibration mobile 30 (voir figure 6). L’outil de calibration mobile 30 peut prendre la forme d’une manette classique mais il peut aussi, parmi d’autres solutions, être un outil chirurgical 13.In a manner known per se, the display device 18 is associated with a mobile calibration tool 30 (see FIG. 6). The mobile calibration tool 30 can take the form of a conventional joystick but it can also, among other solutions, be a surgical tool 13.
Le dispositif d’affichage 18 fait le lien entre le dispositif d’entraînement chirurgical 10 et le dispositif virtuel. En effet, le dispositif d’entraînement chirurgical 10 est le dispositif manipulé par l’opérateur mais le dispositif virtuel est celui qui est perçu par l’opérateur. La console virtuelle et l’au moins un outil virtuel sont rendus visibles, pour l’opérateur, par le dispositif d’affichage 18.The display device 18 makes the link between the surgical training device 10 and the virtual device. Indeed, the surgical training device 10 is the device manipulated by the operator but the virtual device is the one perceived by the operator. The virtual console and the at least one virtual tool are made visible to the operator by the display device 18.
Le dispositif virtuel comporte :The virtual device includes:
- une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical 12,a virtual console having a geometry corresponding to the geometry of the surgical training console 12,
- au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical 13, cette avatar pouvant être une copie présentant une géométrie correspondant à celle de l’outil chirurgical 13 ou pouvant prendre une toute autre forme.at least one virtual tool, each virtual tool having an avatar of the surgical tool 13, this avatar possibly being a copy having a geometry corresponding to that of the surgical tool 13 or possibly taking any other form.
La console virtuelle reprend la géométrie de l’imitation 24 de la console d’entrainement chirurgical 12. L’outil virtuel est une image de l’outil chirurgical 13 sans le corps réfléchissant 28.The virtual console uses the geometry of the imitation 24 of the surgical training console 12. The virtual tool is an image of the surgical tool 13 without the reflective body 28.
Le dispositif virtuel comporte par ailleurs :The virtual device also includes:
- un premier référentiel virtuel R1 définissant un premier univers virtuel U1 associé à l’organe de capture de mouvement 16,a first virtual reference frame R1 defining a first virtual universe U1 associated with the motion capture device 16,
- un deuxième référentiel virtuel R2 définissant un deuxième univers virtuel U2 associé au dispositif d’affichage 18.a second virtual repository R2 defining a second virtual universe U2 associated with the display device 18.
Plus précisément, il s’agit de déterminer la transformée entre R1 et R2. Cette transformée s’obtient en déterminant la transformée entre un référentiel Rp de la plaque de calibration 19 et un référentiel Rc de l’outil de calibration mobile 30. Comme illustré sur la figure 8, on voit donc que le système de connexion 10 comporte quatre référentiels différents : R1, R2, Rp, Rc. L'objectif est de calibrer :More precisely, it is a question of determining the transform between R1 and R2. This transform is obtained by determining the transform between a reference frame Rp of the calibration plate 19 and a reference frame Rc of the mobile calibration tool 30. As illustrated in FIG. 8, it can therefore be seen that the connection system 10 comprises four different frames of reference: R1, R2, Rp, Rc. The objective is to calibrate:
- R1 par rapport à R2 en utilisant les données obtenues par Rp dans le repère R1, etR1 with respect to R2 using the data obtained by Rp in the R1 benchmark, and
- Rc dans le repère R2.Rc in the R2 frame.
En connaissant la transformée entre Rp et Rc nous pouvons en déduire la transformée entre R1 et R2.By knowing the transform between Rp and Rc we can deduce the transform between R1 and R2.
La position et l'orientation de la plaque de calibration 19 sont connues dans le repère R1 de l’organe de capture de mouvement 16, ainsi on peut en déduire la matrice M1p qui est la transformée entre le repère 0 (R1) de l’organe de capture de mouvement 16 et le repère de la plaque (Rp). D'autre part, la position et l'orientation de l’outil de calibration mobile 30 (Rc) dans le repère R2 du dispositif d’affichage 18. On peut donc créer la matrice Mc2qui correspond à la transformée entre l’outil de calibration mobile 30 (classiquement une manette) et le dispositif d’affichage 18 (qui peut être un casque). Par ailleurs, les dimensions et le dessin de la plaque de calibration 19 étant connus, la transformée entre la plaque de calibration 19 et l’outil de calibration mobile 30 est connue. Cette matrice est notée Mpc. Il s’agit de la matrice de transformation entre le repère de la plaque de calibration 19 (Rp) et le repère de l’outil de calibration mobile 30 (Rc)The position and orientation of the calibration plate 19 are known in the frame R1 of the motion capture device 16, so the matrix M 1 p can be deduced therefrom, which is the transform between the frame 0 (R1) of the motion capture member 16 and the plate mark (Rp). On the other hand, the position and orientation of the mobile calibration tool 30 (Rc) in the frame R2 of the display device 18. It is therefore possible to create the matrix Mc 2 which corresponds to the transform between the tool mobile calibration 30 (typically a joystick) and the display device 18 (which may be a headset). Moreover, the dimensions and the design of the calibration plate 19 being known, the transform between the calibration plate 19 and the mobile calibration tool 30 is known. This matrix is denoted Mpc. This is the transformation matrix between the reference of the calibration plate 19 (Rp) and the reference of the mobile calibration tool 30 (Rc)
Ainsi pour avoir la matrice de transformation (M12) entre les deux univers U1, U2, celui de l’organe de capture de mouvement 16 (U1), et celui du dispositif d’affichage 18 (U2), nous avons à calculer M12:Thus to have the transformation matrix (M 12 ) between the two universes U1, U2, that of the motion capture device 16 (U1), and that of the display device 18 (U2), we have to calculate M 12 :
Afin de faire coïncider le dispositif d’entraînement chirurgical 10 avec le dispositif virtuel, il faut donc faire coïncider les deux référentiels virtuels R1, R2 par une étape de calibration. Cette calibration des deux référentiels virtuels R1, R2 permet donc de calibrer le monde virtuel sur le monde réel. La calibration entre le monde réel et le monde virtuel est cruciale car elle permet d’obtenir une parfaite concordance des mouvements de l’opérateur dans le monde virtuel. Cette étape permet aussi de définir la position d’origine du monde virtuel. Cette étape est réalisée au moyen de la plaque de calibration 19.In order to make the surgical training device 10 coincide with the virtual device, it is therefore necessary to make the two virtual reference frames R1, R2 coincide by a calibration step. This calibration of the two virtual repositories R1, R2 therefore makes it possible to calibrate the virtual world on the real world. The calibration between the real world and the virtual world is crucial because it allows to obtain a perfect match of the movements of the operator in the virtual world. This step also defines the home position of the virtual world. This step is carried out using the calibration plate 19.
La plaque de calibration 30 est une plaque de calibration amovible, c’est-à-dire qu’elle présente des dimensions la rendant apte à être positionnée sur le bâti 12a de la console d’entraînement chirurgical 12. La plaque de calibration 30 peut être positionnée sur le bâti 12a en complément ou en remplacement de la plaque d’entraînement chirurgical amovible 12b. La plaque de calibration 30 présente les mêmes dimensions que la console d’entraînement chirurgical 12.The calibration plate 30 is a removable calibration plate, that is to say it has dimensions making it suitable for being positioned on the frame 12a of the surgical training console 12. The calibration plate 30 can be positioned on the frame 12a in addition to or in replacement of the removable surgical drive plate 12b. The calibration plate 30 has the same dimensions as the surgical training console 12.
Comme visible sur les figures 5A, 5B et 6, la plaque de calibration 19 présente une première structure de référence 32 destinée à être associée au premier référentiel virtuel R1, et une deuxième structure de référence 34 destinée à être associée au deuxième référentiel virtuel R2. Comme visible sur les figures 5A, 5B et 6, la première structure de référence 32 de la plaque de calibration 30 comporte trois éléments de référence destinés à former un repère orthogonal. Chaque élément de référence de la plaque de calibration est un élément réfléchissant 26 destiné à interagir avec l’organe de capture de mouvement 16. Les éléments de référence de la plaque de calibration 30 sont donc des éléments réfléchissants 26 aux infrarouges. En particulier, il s’agit de billes réfléchissantes aux infrarouges de 14mm de diamètre. Les billes sont positionnées de façon à construire un repère orthogonal : axe X - 125mm entre les deux billes, et axe Z - 229mm entre les deux billes. L’axe Z est positionné côté organe de capture de mouvement 16 et perpendiculaire au champ visuel de l’organe 16. L’axe X est dirigé vers l’opérateur. Comme visible sur les figures 5A et 6, la deuxième structure de référence 34 est une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile 30. Un détrompeur centré au niveau du centre de cette empreinte permet de garantir la position et l'orientation de l’outil de calibration mobile 30 lorsque celui-ci est positionnée sur la plaque de calibration 19, pendant l’étape de calibration.As visible in FIGS. 5A, 5B and 6, the calibration plate 19 has a first reference structure 32 intended to be associated with the first virtual reference frame R1, and a second reference structure 34 intended to be associated with the second virtual reference frame R2. As can be seen in FIGS. 5A, 5B and 6, the first reference structure 32 of the calibration plate 30 comprises three reference elements intended to form an orthogonal marker. Each reference element of the calibration plate is a reflective element 26 intended to interact with the motion capture member 16. The reference elements of the calibration plate 30 are therefore infrared reflective elements 26. In particular, these are 14mm diameter infrared reflective beads. The balls are positioned in such a way as to construct an orthogonal reference: X axis - 125mm between the two balls, and Z axis - 229mm between the two balls. The Z axis is positioned on the side of the motion capture device 16 and perpendicular to the visual field of the device 16. The X axis is directed towards the operator. As visible in FIGS. 5A and 6, the second reference structure 34 is an imprint having a shape complementary to that of the mobile calibration tool 30. A polarizer centered at the center of this imprint makes it possible to guarantee the position and the orientation of the mobile calibration tool 30 when the latter is positioned on the calibration plate 19, during the calibration step.
Pour effectuer la calibration, d’une part la première structure de référence 32 de la plaque de calibration 19 doit être vue par l’organe de capture de mouvement 16 et, d’autre part, l’outil de calibration mobile 30 doit être placé sur la deuxième structure de référence 34. Au cours de cette étape de calibration, la plaque de calibration 19 représente l’origine du monde réel. On obtient de cette façon l’alignement des deux référentiels virtuels R1, R2. Cet alignement permet une superposition stable des deux univers virtuels U1, U2.To perform the calibration, on the one hand the first reference structure 32 of the calibration plate 19 must be seen by the motion capture device 16 and, on the other hand, the mobile calibration tool 30 must be placed on the second reference structure 34. During this calibration step, the calibration plate 19 represents the origin of the real world. In this way, we obtain the alignment of the two virtual repositories R1, R2. This alignment allows a stable superimposition of the two virtual universes U1, U2.
La calibration du système de connexion est réalisée selon les étapes suivantes :The calibration of the connection system is carried out according to the following steps:
- Positionnement de la console d’entrainement chirurgical 12 dans une zone de détection de l’organe de capture de mouvement 16. On peut aussi simplement positionner le bâti 12a de la console d’entraînement chirurgical 12.Positioning of the surgical training console 12 in a detection zone of the motion capture device 16. It is also possible simply to position the frame 12a of the surgical training console 12.
- Positionnement de la plaque de calibration 19 dans la zone de détection de l’organe de capture de mouvement 16. En particulier, la plaque de calibration 19 peut être positionnée sur le bâti 12a de la console chirurgical 12.Positioning of the calibration plate 19 in the detection zone of the motion capture device 16. In particular, the calibration plate 19 can be positioned on the frame 12a of the surgical console 12.
- Calibration de l’organe de capture de mouvements 16 sur la première structure de référence 32 de la plaque de calibration 19 de manière à associer le premier référentiel virtuel R1 à la plaque de calibration 19.Calibration of the motion capture device 16 on the first reference structure 32 of the calibration plate 19 so as to associate the first virtual reference frame R1 with the calibration plate 19.
- Calibration du dispositif d’affichage 18 sur la deuxième structure de référence 34 de la plaque de calibration 19 de manière à associer le deuxième référentiel virtuel R2 à la plaque de calibration 19.Calibration of the display device 18 on the second reference structure 34 of the calibration plate 19 so as to associate the second virtual reference frame R2 with the calibration plate 19.
- Alignement des deux référentiels virtuels R1, R2.Alignment of the two virtual repositories R1, R2.
- Retrait de la plaque de calibration 19.Removal of the calibration plate 19.
- Mise en place de la plaque d’entraînement chirurgical amovible 12b sur le bâti 12a.Installation of the removable surgical training plate 12b on the frame 12a.
Une fois cette calibration effectuée, la plaque de calibration 19 et l’outil de calibration mobile 30 peuvent être retirés de l’environnement car les deux univers virtuels U1, U2 sont des points de référence stables.Once this calibration has been performed, the calibration plate 19 and the mobile calibration tool 30 can be removed from the environment because the two virtual universes U1, U2 are stable reference points.
Une fois que la calibration est effectuée, l’instrument de chirurgie 13 physiquement tenu dans la main de l’opérateur se déplace en même temps, dans le monde réel et dans le monde virtuel avec une précision infra-millimétrique dans les trois plans de l’espace. Le présent système de connexion est une méthode de suivi robuste et précise qui permet de capter avec précision les mouvements des instruments. Cette méthode garantit la mobilité et la transportabilité des simulateurs. La console d’entraînement chirurgical 12 est connectée à la position du patient perçu par l’opérateur dans la scène virtuelle. Cette position est donc suivie en temps réel avec une précision infra-millimétrique dans les trois plans de l’espace afin d’éviter tout décalage entre le monde virtuel et le monde réel.Once the calibration is carried out, the surgical instrument 13 physically held in the hand of the operator moves at the same time, in the real world and in the virtual world with sub-millimeter precision in the three planes of the 'space. This logging system is a robust and accurate tracking method that can accurately capture instrument movements. This method guarantees the mobility and transportability of the simulators. The surgical training console 12 is connected to the position of the patient perceived by the operator in the virtual scene. This position is therefore tracked in real time with sub-millimeter precision in the three planes of space in order to avoid any discrepancy between the virtual world and the real world.
Pour faciliter la mise en place et garantir la répétabilité du positionnement de la zone de travail, un assistant de configuration a été développé : ainsi, l’étape de calibration de l’organe de capture de mouvement 30 et l’étape de calibration du dispositif d’affichage 18 sont réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul 14. Cet assistant s'exécute au démarrage de l’unité de calcul 14. L’assistant calcule la matrice de transformation entre les deux repères virtuels R1, R2 et la stocke dans l’unité de calcul 14. L’assistant communique avec l’opérateur au moyen d’un écran et peut ainsi donner des instructions à l’opérateur. Il est ainsi possible d'exécuter n’importe quelle simulation sans avoir à effectuer une nouvelle calibration. Si l’organe de capture de mouvement 16 est déplacé, il faut toutefois effectuer une nouvelle calibration. Par contre, si la console d’entraînement chirurgical 12 est déplacée pendant une simulation, la scène virtuelle est recalée automatiquement pour correspondre à la réalité. En effet, une fonction s’exécute à intervalle régulier (par exemple toutes les 10 ou 300 millisecondes) pour vérifier si la console d’entraînement chirurgical 12 a bougé. Si la console 12 a bougé, l’unité de calcul 14 recale automatiquement la scène virtuelle en fonction de la position de la console 12. Cette routine s’exécutant pendant toute la simulation permet ainsi de détecter un mouvement de la console 12 et de recalculer la position de la scène virtuelle par rapport à l’organe de capture de mouvement 16.To facilitate the installation and guarantee the repeatability of the positioning of the working area, a configuration wizard has been developed: thus, the step of calibrating the motion capture member 30 and the step of calibrating the device display 18 are produced by means of a computer program recorded in the calculation unit 14. This assistant is executed when the calculation unit 14 is started. The assistant calculates the transformation matrix between the two virtual markers R1, R2 and stores it in the calculation unit 14. The assistant communicates with the operator by means of a screen and can thus give instructions to the operator. It is thus possible to run any simulation without having to perform a new calibration. If the motion capture member 16 is moved, however, a new calibration must be carried out. On the other hand, if the surgical training console 12 is moved during a simulation, the virtual scene is automatically readjusted to correspond to reality. Indeed, a function is executed at regular intervals (for example every 10 or 300 milliseconds) to check whether the surgical training console 12 has moved. If the console 12 has moved, the calculation unit 14 automatically readjusts the virtual scene according to the position of the console 12. This routine, which is executed throughout the simulation, thus makes it possible to detect a movement of the console 12 and to recalculate the position of the virtual scene relative to the motion capture device 16.
Le système de connexion selon l’invention, vient prendre à contrepied les techniques actuellement employées. Les techniques existantes emploient un référentiel unique, qui est celui de l’organe de capture de mouvement. Le dispositif d’affichage 18 est positionné dans l’univers virtuel U1 associé à l’organe de capture 16 grâce à des marqueurs passifs (boules réfléchissant les infrarouges émis avec un illuminateur externe) ou actifs (boules générant de la lumière infrarouge). Ces techniques présentes les inconvénients suivants :The connection system according to the invention takes the opposite view of the techniques currently used. Existing techniques use a single frame of reference, which is that of the motion capture organ. The display device 18 is positioned in the virtual universe U1 associated with the capture member 16 thanks to passive markers (balls reflecting the infrared emitted with an external illuminator) or active markers (balls generating infrared light). These techniques have the following drawbacks:
- coût élevé à cause de la modification physiquement de chaque dispositif d’affichage 18 et, des organes de calibration mobiles 30 associés ;high cost due to the physical modification of each display device 18 and of the associated mobile calibration devices 30;
- augmentation de l’espace de stockage nécessaire pour le dispositif d’affichage 18 ;increase in the storage space required for the display device 18;
- qualité de suivi (tracking) limitée par les capacités de suivi de l’organe de capture de mouvement 16 , avec plus ou moins de problèmes d’occlusion selon le nombre et la position des caméras de tracking optique de l’organe de capture de mouvement 16.quality of tracking (tracking) limited by the tracking capacities of the motion capture device 16 , with more or less occlusion problems depending on the number and position of the optical tracking cameras of the motion capture device 16.
La présente invention vient prendre l’état de l’art à contrepied, afin d’atténuer ou supprimer ces inconvénients.The present invention comes to take the state of the art on the opposite foot, in order to attenuate or eliminate these disadvantages.
En effet, le tracking natif du dispositif d’affichage 18 est conservé, en l'occurrence un tracking inside-out qui limite les problèmes d’occlusion et dont la latence et le positionnement sont parfaitement optimisés. Le dispositif d’affichage évolue donc dans son propre référentiel virtuel R2, différent de celui des outils chirurgicaux 13 trackés qui évoluent dans le référentiel virtuel R1 des caméras de tracking de l’organe de capteur de mouvement 16. Il est donc nécessaire de superposer les deux univers virtuels U1, U2, en alignant leurs référentiels virtuels R1, R2, afin que les objets trackés apparaissent à leur position réelle dans l’univers virtuel U2 du dispositif d’affichage 18.Indeed, the native tracking of the display device 18 is retained, in this case inside-out tracking which limits occlusion problems and whose latency and positioning are perfectly optimized. The display device therefore evolves in its own virtual repository R2, different from that of the tracked surgical tools 13 which evolve in the virtual repository R1 of the tracking cameras of the motion sensor member 16. It is therefore necessary to superimpose the two virtual universes U1, U2, by aligning their virtual repositories R1, R2, so that the tracked objects appear in their real position in the virtual universe U2 of the display device 18.
Claims (11)
- une console d’entrainement chirurgical (12) formant zone de travail,
- au moins un outil chirurgical (13) destiné à être manipulé par un opérateur en interaction avec la console d’entraînement chirurgical (12),
- une unité de calcul (14),
- un organe de capture de mouvement (16) relié à l’organe de calcul (14),
- un dispositif d’affichage (18) relié à l’unité de calcul (14), le dispositif d’affichage (18) étant associé à un outil de calibration mobile (30),
l’au moins un outil chirurgical (13) étant muni d’au moins un corps réfléchissant (28) de manière à ce que la position de l’au moins un outil chirurgical (13) soit suivie en temps réel par l’organe de capture de mouvement (16),
le dispositif virtuel comportant :
- une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical (12),
- au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical (13),
- un premier référentiel virtuel (R1) définissant un premier univers virtuel (U1) associé à l’organe de capture de mouvement (16),
- un deuxième référentiel virtuel (R2) définissant un deuxième univers virtuel (U2) associé au dispositif d’affichage (18),
la console virtuelle et l’au moins un outil virtuel étant rendus visibles, pour l’opérateur, par le dispositif d’affichage (18),
le dispositif d’entraînement chirurgical (10) comportant en outre une plaque de calibration (19), cette plaque de calibration (19) présentant :
- une première structure de référence (32) destinée à être associée au premier référentiel virtuel (R1), et
- une deuxième structure de référence (34) destinée à être associée au deuxième référentiel virtuel (R2), la deuxième structure de référence (34) étant une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile (30),
de manière à obtenir l’alignement des deux référentiels virtuels (R1, R2), cet alignement permettant une superposition stable des deux univers virtuels (U1, U2).A system for connecting a surgical trainer (10) to a virtual device, the surgical trainer (10) comprising:
- a surgical training console (12) forming a work area,
- at least one surgical tool (13) intended to be manipulated by an operator in interaction with the surgical training console (12),
- a calculation unit (14),
- a motion capture device (16) connected to the calculation device (14),
- a display device (18) connected to the calculation unit (14), the display device (18) being associated with a mobile calibration tool (30),
the at least one surgical tool (13) being provided with at least one reflective body (28) so that the position of the at least one surgical tool (13) is monitored in real time by the motion capture (16),
the virtual device comprising:
- a virtual console having a geometry corresponding to the geometry of the surgical training console (12),
- at least one virtual tool, each virtual tool having an avatar of the surgical tool (13),
- a first virtual repository (R1) defining a first virtual universe (U1) associated with the motion capture device (16),
- a second virtual repository (R2) defining a second virtual universe (U2) associated with the display device (18),
the virtual console and the at least one virtual tool being made visible, for the operator, by the display device (18),
the surgical training device (10) further comprising a calibration plate (19), this calibration plate (19) having:
- a first reference structure (32) intended to be associated with the first virtual repository (R1), and
- a second reference structure (34) intended to be associated with the second virtual reference frame (R2), the second reference structure (34) being an imprint having a shape complementary to that of the mobile calibration tool (30),
so as to obtain the alignment of the two virtual reference frames (R1, R2), this alignment allowing a stable superposition of the two virtual universes (U1, U2).
- la plaque de calibration (19) est une plaque de calibration amovible,
- la plaque d’entraînement chirurgical (12) est une plaque d’entraînement chirurgical amovible,
- the calibration plate (19) is a removable calibration plate,
- the surgical drive plate (12) is a removable surgical drive plate,
a. positionnement de la console d’entrainement chirurgical (12) dans une zone de détection de l’organe de capture de mouvement (16),
b. positionnement de la plaque de calibration (19) dans la zone de détection de l’organe de capture de mouvement (16),
c. calibration de l’organe de capture de mouvements (16) sur la première structure de référence (32) de la plaque de calibration (19) de manière à associer le premier référentiel virtuel (R1) à la plaque de calibration (19),
d. calibration du dispositif d’affichage (18) sur la deuxième structure de référence (34) de la plaque de calibration (19) de manière à associer le deuxième référentiel (R2) virtuel à la plaque de calibration (19),
e. alignement des deux référentiels virtuels (R1, R2).Method for calibrating a connection system according to any one of the preceding claims, characterized in that the calibration comprises the following steps, in the order of utterance:
To. positioning of the surgical training console (12) in a detection zone of the motion capture device (16),
b. positioning of the calibration plate (19) in the detection zone of the motion capture device (16),
vs. calibration of the motion capture device (16) on the first reference structure (32) of the calibration plate (19) so as to associate the first virtual reference frame (R1) with the calibration plate (19),
d. calibration of the display device (18) on the second reference structure (34) of the calibration plate (19) so as to associate the second virtual reference frame (R2) with the calibration plate (19),
e. alignment of the two virtual repositories (R1, R2).
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2003651A FR3109237B1 (en) | 2020-04-10 | 2020-04-10 | SYSTEM FOR CONNECTING A SURGICAL TRAINER TO A VIRTUAL DEVICE |
| PCT/FR2021/050632 WO2021205130A1 (en) | 2020-04-10 | 2021-04-09 | System for connecting a surgical training device to a virtual device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2003651 | 2020-04-10 | ||
| FR2003651A FR3109237B1 (en) | 2020-04-10 | 2020-04-10 | SYSTEM FOR CONNECTING A SURGICAL TRAINER TO A VIRTUAL DEVICE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3109237A1 true FR3109237A1 (en) | 2021-10-15 |
| FR3109237B1 FR3109237B1 (en) | 2022-08-05 |
Family
ID=74183173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2003651A Active FR3109237B1 (en) | 2020-04-10 | 2020-04-10 | SYSTEM FOR CONNECTING A SURGICAL TRAINER TO A VIRTUAL DEVICE |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3109237B1 (en) |
| WO (1) | WO2021205130A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1746558A2 (en) | 2005-07-20 | 2007-01-24 | Richstone Consulting LLC | A system and a method for simulating a manual interventional operation by a user in a medical procedure |
| US20160030131A1 (en) * | 2010-04-28 | 2016-02-04 | Ryerson University | System and methods for intraoperative guidance feedback |
| WO2016040376A1 (en) * | 2014-09-08 | 2016-03-17 | Simx, Llc | Augmented reality simulator for professional and educational training |
| WO2017114834A1 (en) | 2015-12-29 | 2017-07-06 | Koninklijke Philips N.V. | System, controller and method using virtual reality device for robotic surgery |
| US20170221387A1 (en) * | 2010-04-09 | 2017-08-03 | University Of Florida Research Foundation, Incorporated | Interactive mixed reality system and uses thereof |
| WO2019204615A1 (en) | 2018-04-18 | 2019-10-24 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Mixed-reality endoscope and surgical tools with haptic feedback for integrated virtual-reality visual and haptic surgical simulation |
-
2020
- 2020-04-10 FR FR2003651A patent/FR3109237B1/en active Active
-
2021
- 2021-04-09 WO PCT/FR2021/050632 patent/WO2021205130A1/en not_active Ceased
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1746558A2 (en) | 2005-07-20 | 2007-01-24 | Richstone Consulting LLC | A system and a method for simulating a manual interventional operation by a user in a medical procedure |
| EP1746558B1 (en) | 2005-07-20 | 2013-07-17 | MedTAG Ltd. | A system for simulating a manual interventional operation by a user in a medical procedure |
| US20170221387A1 (en) * | 2010-04-09 | 2017-08-03 | University Of Florida Research Foundation, Incorporated | Interactive mixed reality system and uses thereof |
| US20160030131A1 (en) * | 2010-04-28 | 2016-02-04 | Ryerson University | System and methods for intraoperative guidance feedback |
| WO2016040376A1 (en) * | 2014-09-08 | 2016-03-17 | Simx, Llc | Augmented reality simulator for professional and educational training |
| WO2017114834A1 (en) | 2015-12-29 | 2017-07-06 | Koninklijke Philips N.V. | System, controller and method using virtual reality device for robotic surgery |
| WO2019204615A1 (en) | 2018-04-18 | 2019-10-24 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Mixed-reality endoscope and surgical tools with haptic feedback for integrated virtual-reality visual and haptic surgical simulation |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3109237B1 (en) | 2022-08-05 |
| WO2021205130A1 (en) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12386311B2 (en) | Holographic image display system | |
| EP0758477B1 (en) | Device and method for simulating an examination of or surgical operation on a simulated organ | |
| US20210283496A1 (en) | Realistic Virtual/Augmented/Mixed Reality Viewing and Interactions | |
| US8690581B2 (en) | Opthalmoscope simulator | |
| JP6336930B2 (en) | Virtual object display device, method, program, and system | |
| WO2019152619A1 (en) | Blink-based calibration of an optical see-through head-mounted display | |
| US20200311396A1 (en) | Spatially consistent representation of hand motion | |
| US12106678B2 (en) | Procedure guidance and training apparatus, methods and systems | |
| CA2942652C (en) | Three dimensional simulation system capable of creating a virtual environment uniting a plurality of users, and associated process | |
| WO1991004711A1 (en) | Local intervention interactive system inside a region of a non homogeneous structure | |
| EP2760329A1 (en) | Method for determining ocular and optical measurements | |
| CN110554501B (en) | Head mounted display and method for determining the line of sight of a user wearing the same | |
| US20200391383A1 (en) | Mechanical eyeball for animatronic devices | |
| US20080204834A1 (en) | Displaying holographic images | |
| US11192246B2 (en) | Two-axis rotatable mechanical eyeball | |
| WO2023195301A1 (en) | Display control device, display control method, and display control program | |
| EP3449340A1 (en) | Device and method for sharing an immersion in a virtual environment | |
| FR3109237A1 (en) | SYSTEM FOR CONNECTING A SURGICAL TRAINING DEVICE TO A VIRTUAL DEVICE | |
| FR3109078A1 (en) | SURGICAL SIMULATION DEVICE | |
| Barabas | Holographic television: measuring visual performance with holographic and other 3D television technologies | |
| FR3056770A1 (en) | DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT | |
| Sari et al. | Investigation of Depth Perception Through Gaming | |
| EP4523202A1 (en) | Training platform | |
| PATTI | Reducing motion sickness on mobile phone based VR applications using 6DoF tracking | |
| Chavez | I3. 3: Invited Paper: Immersive Virtual Reality on the Desktop—System Integration of a Stereoscopic Display and Image‐based Tracking System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20211015 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |