[go: up one dir, main page]

WO2025215329A1 - Système d'imagerie par réalité virtuelle - Google Patents

Système d'imagerie par réalité virtuelle

Info

Publication number
WO2025215329A1
WO2025215329A1 PCT/FR2025/050296 FR2025050296W WO2025215329A1 WO 2025215329 A1 WO2025215329 A1 WO 2025215329A1 FR 2025050296 W FR2025050296 W FR 2025050296W WO 2025215329 A1 WO2025215329 A1 WO 2025215329A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
dummy
interaction
probe
surgical tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/FR2025/050296
Other languages
English (en)
Inventor
Renan DE ARAUJO ALVES
Kim TANABE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtualisurg SAS
Original Assignee
Virtualisurg SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtualisurg SAS filed Critical Virtualisurg SAS
Publication of WO2025215329A1 publication Critical patent/WO2025215329A1/fr
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics

Definitions

  • the present invention relates to the field of training future surgeons.
  • the present invention is therefore in the field of tools, methods and materials for education and teaching, in particular the field of surgical training consoles.
  • Certain surgeries or even certain non-surgical examinations also require knowing how to generate, read and interpret a medical imaging image such as an ultrasound, for example.
  • the aim of the present invention is therefore to provide a safe, practical, accurate, realistic, easy-to-use and readily available training device for training in generating a realistic medical image in order to be able to interpret it in real time.
  • the device must be able to allow, where appropriate, the simultaneous use of a surgical tool and an imaging device in a realistic manner.
  • the realism of surgical simulation and medical image generation depends largely on the possibility of applying realistic constraints to the movement of the surgical tools. manipulations taken in hand by the user. Applying these constraints is therefore a technical challenge.
  • a device for viewing a simulated image of an internal target area of a human body during a simulation of a medical imaging examination comprising: an anatomical console forming a base, the anatomical console comprising an interaction surface comprising at least one interaction area, a dummy probe comprising an interaction head, the interaction head being configured to cooperate with the interaction surface, a virtual scene presenting a virtual screen, a virtual reality system comprising:
  • This device is characterized in that the virtual screen of the virtual scene displays the simulated image of all or part of the internal target area in real time, when the interaction head of the dummy probe cooperates with at least one interaction area of the interaction surface.
  • this solution allows to achieve the above-mentioned objective.
  • it allows to simulate, in real time, realistic and interactive medical imaging, covering a very large number of internal areas of a patient, without the need to change the anatomical console.
  • the machining device according to the invention may comprise one or more of the following characteristics, taken in isolation from one another or in combination with one another: - the virtual screen of the virtual scene can display, in real time, any modification of all or part of the internal target area,
  • the virtual scene may further present a virtual probe forming a virtual image of the dummy probe, the virtual probe being associated with the dummy probe by the virtual reality system so that each movement of the dummy probe in real space is reproduced by the virtual probe in the virtual scene,
  • the dummy probe may be a dummy ultrasound probe and the medical examination is an ultrasound
  • the dummy probe can be a dummy endoscopy probe and the medical examination is an endoscopy
  • the device may comprise a dummy surgical tool configured to be connected to the control unit, the virtual scene comprising a virtual surgical tool forming a virtual image of the dummy surgical tool, the virtual surgical tool being associated with the dummy surgical tool by the virtual reality system so that each movement of the dummy surgical tool in real space is reproduced by the virtual surgical tool in the virtual scene,
  • Figure 1 is a perspective view of a device according to a first embodiment of the present invention
  • Figures 2a and 2b are, respectively, a perspective view and a sectional view of a dummy probe according to the present invention
  • Figures 3a and 3b are detailed views of the virtual scene generated by the device according to the invention
  • Figure 4 is a perspective view of a device according to a second embodiment of the present invention, including a movable haptic arm
  • Figure 5a is a perspective view of the embodiment of Figure 4
  • Figure 5b is a perspective view of a device according to a third embodiment of the present invention, also including a movable haptic arm.
  • the present invention allows a trainee practitioner to practice performing a medical imaging examination.
  • the imaging aspect of the present invention relies solely on the observation of one (or more) simulated image(s) 100.
  • the present invention thus relates to a device 10 for viewing, by at least one user, a simulated image 100 of at least one internal target zone Z of a human body during a simulation of a medical imaging examination.
  • the internal target area Z can for example be the inside of an intestinal tract, various regions of the abdomen (epigastric region, umbilical region, etc.), a specific organ, muscle or set of muscles, etc.
  • This medical imaging examination simulation can therefore be, for example, a simulation of an ultrasound, colonoscopy or fibroscopy.
  • the device 10 comprises: an anatomical console 12 forming a base, a dummy probe 14 comprising an interaction head 16, a virtual reality system 18 comprising:
  • the device 10 is configured so that a user manipulating the dummy probe 14 in cooperation with the anatomical console 12 can see all or part of the internal target area Z appear on the screen 20.
  • the user can observe different parts of the internal target area Z, exactly as during an ultrasound examination, for example.
  • the internal target area Z is made visible to the user exclusively by means of at least one simulated image 100, preferably several simulated images 100.
  • the anatomical console 12 is an autonomous entity intended to be placed on a flat surface, such as the floor or a table, representing and/or reconstructing in 3D all or part of an external anatomical part of a patient P. More particularly, the anatomical console 12 comprises an interaction surface 26 representing and/or reconstructing in 3D all or part of an external anatomical part of a patient P.
  • the anatomical console 12 and more particularly the interaction surface 26 is designed so as to allow tactile feedback and even, depending on the embodiments, haptic feedback, when the user interacts with it.
  • the interaction surface 26 preferably has at least one rigidity characteristic similar to that of a human anatomical wall.
  • haptic feedback (or signal) is understood as a signal actively generated by the device 10 according to the present invention. It is to be distinguished from the notion of “tactile feedback” which is a simple passive feedback, generated automatically by the interaction between the user and the device 10 in response to the manipulation of animate or inanimate objects.
  • the anatomical console 12 may in particular comprise one or more elements made of silicone, for example.
  • the interaction surface has a rounded convex shape so as to represent the belly of a person pregnant for the desired number of months for the simulation.
  • the anatomical console 12 represents the neck of a patient P, in the context of a simulation of the ablation of a benign thyroid nodule by the use of an antenna which produces microwaves at its end.
  • the interaction surface 26 is cut into a series of interaction zones 28 having variable dimensions and shapes. Depending on the embodiment, the interaction surface 26 is cut into a series of interaction zones 28 having similar dimensions and shapes.
  • the interaction surface 26 may be a flat, concave and/or convex surface. It may be a surface external to the anatomical console 12 (open surface) located on the surface of the anatomical console 12 or a surface internal to the anatomical console 12 (closed surface) accessible through an opening provided in the anatomical console 12, for example the interior of a tube or a canal (see Figure 5b).
  • the interaction surface 26 may comprise an external silicone coating.
  • Each interaction zone 28 is associated with a simulated image 100 of all or part of the internal target zone Z.
  • each interaction zone 28 can be associated with several simulated images 100. These simulated images 100 are organized in a precise sequence and are presented successively to the user, so as to simulate a movement in all or part of the internal target zone Z (for example, in the case of an obstetric ultrasound, the movement of a fetus).
  • a movement in all or part of the internal target zone Z for example, in the case of an obstetric ultrasound, the movement of a fetus.
  • the simulated images 100 are not derived from real data read by a real probe.
  • Each simulated image 100 is generated, by the virtual reality system 18, using 3D models representing the nodules, fluids and organs of the internal target area Z. These models are then simplified into basic mathematical curves (instead of triangles).
  • the virtual reality system 18 maintains the simulated image update rate from 100 to 60 images per second, preferably 65 simulated images per second.
  • This simulation speed allows, in the context of an ultrasound simulation, to increase the realism of the simulation and to simulate a realistic physical propagation through the anatomy and to process it to visualize it in real time in the virtual scene 101 (see below).
  • the dummy probe 14 has a shape similar to a real medical probe, so as to maximize the realism of the simulation and to offer the best training conditions to the user. More particularly, as shown in FIGS. 2a and 2b, the dummy probe 14 comprises an interaction head 16 configured to cooperate with the interaction surface 26. This cooperation may be cooperation by contact, by friction, by translation or for example by sliding. In the context of an ultrasound simulation, for example, the interaction head 16 is configured to cooperate by sliding with the interaction surface 26 (external, open surface), the user being led to slide the interaction head 16 of the dummy probe 14 on the surface interaction head 26 of the anatomical console.
  • the interaction head 16 is configured to cooperate by translation with the interaction surface 26 (internal, closed surface), the user being led to advance the interaction head 16 of the dummy probe 14 along the interaction surface 26 of the anatomical console 12.
  • the dummy probe 14 is a dummy ultrasound probe and the simulated medical examination is an ultrasound. In some embodiments, the dummy probe 14 is a dummy endoscopy or colonoscopy probe and the simulated medical examination is an endoscopy or colonoscopy.
  • the interaction head 16 of the dummy probe 14 comprises at least one interface element 29a, 29b configured to generate a predetermined haptic feedback when the dummy probe 14 is in contact with the at least one interaction zone 28 of the interaction surface 26. More particularly, as illustrated in Figures 2a and 2b, the interaction head 16 of the dummy probe 14 represents an ultrasound probe and it comprises two metal balls 29a each associated with a spring 29b so as to make the user feel a sensation close to that of a real probe when manipulating it on the skin of a real patient P with a gel (sliding).
  • the springs 29b are constrained in a channel which ensures that the force of each spring 29b is always directed towards the corresponding ball 29a.
  • a Nylon interface piece Between the springs 29b and the metal balls 29a is a Nylon interface piece whose contact surface with the balls 29a is a series of empty and full fringes of material, so as to limit the contact surface and therefore the friction to promote the rolling of the balls 29a.
  • the Nylon interface piece is also constrained by a channel and allows a homogeneous pressure which encompasses the balls 29a and pushes them against the lower wall of the interaction head 16. At rest, this constrains the balls 29a and prevents their rotation and translation.
  • the balls 29a are no longer in contact with the wall of the interaction head 16 of the dummy probe 14 and have more space by having only the nylon interface piece in contact with the dummy probe 14. They therefore slide much better.
  • the silicone coating of the interaction surface 26 of the anatomical console 12 having a slightly “viscous” surface, the balls grip this surface and slide on the interface piece to imitate reality.
  • the interaction surface 26 comprises a first interaction zone 28 and a second interaction zone 28.
  • the interaction head 16 can be configured to: generate a first specific haptic feedback when the dummy probe 14 is in contact with the first interaction zone 28, and generate a second specific haptic feedback when the dummy probe 14 is in contact with the second interaction zone 28.
  • the screen 20 of the virtual reality system 18 allows a user to view the simulation. More particularly, the screen 20 allows one (or more) user(s) to view a virtual scene 101 which will be described below.
  • the screen 20 may be a fixed element in real space or a mobile element in real space, for example, configured to be worn by the user during the simulation.
  • the device 10 may comprise several screens 20, allowing several users to view the simulation, or even to participate in it.
  • the different screens 20 may thus be mobile or fixed. More precisely, as visible in FIGS. 3a and 3b, the screen 20 may be a screen placed on a surface near or at a distance from the anatomical console 12. In another embodiment, the screen 20 may be a virtual reality headset, adjustable to the user and capable of providing audio feedback (see FIG. 1).
  • each virtual reality headset is preferably associated with at least one calibration tool Ki.
  • the position of the at least one calibration tool Ki relative to the virtual reality headset is identified by the headset (a camera on the headset can for example identify constellations of IR light on one face of the calibration tool). This makes it possible to have the position of the at least one calibration tool Ki (and therefore of the dummy probe 14 when the latter is associated with the calibration tool) relative to real space.
  • the anatomical console 12 further comprises at least one calibration base K2 for the at least one calibration tool Ki.
  • This calibration base K2 comprises an imprint, in which the at least one calibration tool Ki can be placed in a unique and repeatable manner. This makes it possible to know the position of the anatomical console 12, the screen 20 and the dummy probe 14 relative to real space and to study each of their movements in real time.
  • the virtual reality system 18 also makes it possible to locate the user relative to the anatomical console 12.
  • the virtual reality system 18 further comprises a control unit 24.
  • This control unit 24 is notably configured to: generate the virtual scene 101, and associating all or part of the internal target zone Z with the at least one interaction zone 28 of the interaction surface 26.
  • the control unit 24 may be integrated into the anatomical console 12 (as illustrated in the figures) or may be an attached element, such as a computer, connected, wired or wirelessly, to the anatomical console 12.
  • the control unit 24 is connected to the screen 20 (wired or wireless) and is configured to align the virtual scene 101 (virtual reality) with the real space (physical reality of the user manipulating the platform or the device 10 according to the present invention).
  • the virtual scene 101 is a virtual space displayed to the user on the screen 20. If the screen is a virtual reality headset, the virtual scene 101 is immersive. Depending on the embodiments, the virtual scene 101 may comprise different fixed or mobile virtual elements, in order to increase the realism of the simulation for the user.
  • the virtual scene 101 may comprise: a virtual probe 114 forming a virtual image of the dummy probe 14, and/or a virtual anatomical wall 126 forming a virtual image of the interaction surface 26, and/or a virtual hand 150 of the user, associated with a virtual handle 130 of the dummy probe 114, and/or an operating theatre or medical office setting, one or more constituent elements of the internal target zone Z (for example all or part of organs, muscle groups, a tumour, a bone, etc.
  • the virtual probe 114 is associated with the dummy probe 14 by the virtual reality system 18 so that each movement of the dummy probe 14 in real space is reproduced by the virtual probe 114 in the virtual scene.
  • the virtual anatomical wall 126 is associated with the interaction surface 26 by the virtual reality system 18 of so that every movement of the interaction surface in reality is reproduced by the virtual anatomical wall in the virtual scene
  • the virtual scene 101 has a virtual screen 102 intended to display 4 for the user, each simulated image 100 generated by the virtual reality system 28.
  • This virtual screen 102 is preferably in the form of a two-dimensional screen or flat screen. This is the image of a 2D screen in the 3D virtual reality of the virtual scene 101.
  • This virtual screen 102 can, for example, appear in the classic form of a monitor, it then forms a virtual monitor. More particularly, when the device 10 is running and the simulation is launched, the virtual screen 102 of the virtual scene 101 displays each simulated image 100 of at least one internal target zone Z in real time, as the interaction head 16 of the dummy probe 14 cooperates with each interaction zone 28 of the interaction surface 26 of the anatomical console 12.
  • each interaction zone of the interaction surface 26 is thus associated, by the control unit, with the entirety or a predetermined part of the internal target zone Z.
  • the control unit 24 thus allows the creation of a unique correspondence link (bijection) between: an interaction zone 28 of the real space, a series of simulated images 100 comprising at least one simulated image 100 representing all or part of the internal target zone Z.
  • each interaction zone 28 corresponds to a specific part of the internal target zone Z, and allows the display, in real time, by interaction (cooperation) with the interaction head 16, of all the simulated images 101 corresponding to this specific part of the internal target zone Z, on the virtual screen 102 of the virtual scene 101.
  • Surgery In some embodiments that seek to simulate a surgical procedure, during the medical imaging simulation, for example, the removal of a benign thyroid nodule by the use of an antenna that produces microwaves at its tip. This type of surgical operation is conducted in parallel with ultrasound monitoring.
  • the device 10 comprises a dummy surgical tool 32 configured to be connected to the control unit 24.
  • This dummy surgical tool has shape, weight and mobility characteristics similar to a real surgical tool.
  • the device 10 comprises a movable haptic arm 34 connected to the control unit 24 and configured to fix the dummy surgical tool 32.
  • This fixing of the dummy surgical tool 32 to the movable haptic arm 34 makes it possible to generate a predetermined haptic feedback when the dummy surgical tool 32 cooperates with the interaction surface 26 of the anatomical console 12.
  • the mobile haptic arm 34 makes it possible to know the position and relative orientation of an object attached to it (see below). The position and orientation of this object are then obtained relative to the control unit 24 and therefore to the entire virtual reality system 18. Furthermore, since the position of the mobile calibration tool Ki relative to the control unit 24 is known, the position and orientation of the object connected to the mobile haptic arm 34 can then be known.
  • the mobile haptic arm 34 is connected to the anatomical console 12 by means of a robot 36 fixed to the anatomical console 12 (see figures 4, 5a, 5b). As seen in figures 4, 5a, 5b, the haptic arm 34 has, opposite the robot 36, a free end 38 configured to connect at least one dummy surgical tool 32.
  • the mobile haptic arm 34 is movable according to at least six degrees of freedom obtained by means of various elbows and rotating parts cooperating with each other so as to form joints Ji, , h, L, Js, J ⁇ . More precisely, and as visible in figures 4, 5a, 5b, the first three joints (distal joints) are actuable by the user while the last three joints (proximal joints) are passive. In order to maximize the realism of the simulation, the dummy surgical tool 32, once connected to the movable haptic arm 34, must have its tip (or free end) positioned where the haptic feedback would occur in reality, i.e., at the haptic point of the haptic arm. This haptic point is referred to as “HIP”.
  • the objective F is to allow a user to, at the same time: move (with a first hand) a dummy endoscopic camera (dummy probe 14 which includes a calibration tool Ki) inside the anatomical console 12 via a closed interaction surface 26 which leads inside the body (inside the back at the level of the spine for example) in order to view one or more simulated image(s) 100 of the inside of the back (muscles, yellow ligaments, vertebrae and intervertebral discs) on a remote virtual screen 102 (next to the patient P), and with the other hand, to move a replica of an electric milling machine fixed on a mobile haptic arm 34 inside the back in order, on the one hand, to find the end of the motorized milling machine on the remote view of the camera, and on the other hand to position himself correctly at the anatomical level in order to be able to mill a part of the vertebra.
  • a dummy endoscopic camera dummy probe 14 which includes a calibration tool Ki
  • the device 10 makes it possible to implement a medical imaging visualization method based on the visualization (by a user) of one or more simulated image(s) 100 of the internal target zone Z of a virtual patient P.
  • the one or more simulated images of the internal target area Z are based on models stored in the memory of the control unit 24 and are then recreated based on the positioning of the dummy probe 14. More specifically, the steps performed by the device 10 to display a series of simulated images 100 are as follows: modeling, in the form of a 3D model, all the different internal organs, tissues and tumors of the internal target area Z; preprocessing the 3D models in a better format to increase the execution speed (as explained above); gathering all the necessary data (preprocessed models, surgical data) and sending them to a graphics card of the control unit 24 for processing; using the position of the dummy probe 14 as an origin for Ray Tracing (see below); defining an imaging plane in the virtual scene 101, projecting the results of the Ray Tracing into the ultrasound plane of the virtual scene 101; adding post-processing effects to give a realistic impression of a medical image, for example from an ultrasound.
  • the imaging plane can be a coplanar plane with an extension axis of the dummy probe 14 (in the case of ultrasound) or a plane orthogonal to the extension axis of the dummy probe 14 (in the case of endoscopy).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pulmonology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

L'invention concerne un dispositif (10) pour la visualisation d'une image simulée (100) d'une zone cible interne (Z) d'un corps humain au cours d'une simulation d'un examen d'imagerie médicale, le dispositif (10) comportant une console anatomique (12) comportant une surface d'interaction (26) avec au moins une zone d'interaction (28), une sonde factice (14) avec une tête d'interaction (16) configurée pour coopérer avec la surface d'interaction (26), une scène virtuelle (101) avec un écran virtuel (102), un système de réalité virtuelle (18). L'écran virtuel de la scène virtuelle affiche l'image simulée (100) de tout ou partie de la zone cible interne en temps réel, quand la tête d'interaction de la sonde factice coopère avec l'au moins une zone d'interaction de la surface d'interaction.

Description

Description
Titre : SYSTÈME D’IMAGERIE PAR RÉALITÉ VIRTUELLE
DOMAINE DE L’INVENTION
La présente invention concerne le domaine de l’entraînement des futurs chirurgiens. La présente invention se situe donc dans le domaine des outils, méthodes et matériels d’éducation et d’enseignement en particulier le domaine des consoles d’entraînement chirurgical.
ARRIÈRE PLAN TECHNOLOGIQUE
A ce jour, la plupart des formations chirurgicales sont réalisées en conditions réelles, sur des patients, par le biais d'un compagnonnage chirurgical. Cette méthode nécessite des ressources humaines importantes, présente des contraintes matérielles élevées et peut générer un stress important pour l'étudiant qui peut entraîner des difficultés de concentration et/ou de mémorisation.
Certaines chirurgies ou même certains examens non chirurgicaux nécessitent, par ailleurs, de savoir générer, lire et interpréter une image d’imagerie médicale telle qu’une échographie, par exemple.
Certaines chirurgies se font en parallèle d’une échographie ou d’une coloscopie pour diriger le chirurgien pendant l’intervention. Il faut donc également s’entraîner à générer cette imagerie, tout en apprenant à la lire en temps réel pour pouvoir s’y fier pendant la chirurgie.
Le but de la présente invention est donc de fournir un dispositif d'entraînement sûr, pratique, précis, réaliste, facile à utiliser et facilement disponible, permettant de s’entraîner à générer une image médicale réaliste pour pouvoir l’interpréter en temps réel. Le dispositif doit pouvoir permettre, le cas échéant, l’utilisation simultanée d’un outil chirurgical et d’un dispositif d’imagerie de manière réaliste. Le réalisme de la simulation chirurgicale et de la génération d’images médicales dépend en grand partie de la possibilité d’appliquer des contraintes réalistes au mouvement aux outils de manipulations pris en main par l’utilisateur. Appliquer ces contraintes relève donc d’un challenge technique.
RÉSUMÉ
On parvient à réaliser cet objectif, conformément à l’invention grâce à un dispositif pour la visualisation d’une image simulée d’une zone cible interne d’un corps humain au cours d’une simulation d’un examen d’imagerie médicale, le dispositif comportant : une console anatomique formant base, la console anatomique comportant une surface d’interaction comportant au moins une zone d’interaction, une sonde factice comportant une tête d’interaction, la tête d’interaction étant configurée pour coopérer avec la surface d’interaction, une scène virtuelle présentant un écran virtuel, un système de réalité virtuelle comportant :
• un écran permettant la visualisation de la scène virtuelle,
• un système de localisation et d’ orientation, configuré pour localiser la console anatomique et la sonde factice dans l’espace réel,
• une unité de contrôle configurée pour générer la scène virtuelle et associer tout ou partie de F au moins une zone cible interne à F au moins une zone d’interaction,
Ce dispositif se caractérise en ce que l’écran virtuel de la scène virtuelle affiche l’image simulée de tout ou partie de la zone cible interne en temps réel, quand la tête d’interaction de la sonde factice coopère avec F au moins une zone d’interaction de la surface d’interaction.
Ainsi, cette solution permet d’atteindre l’objectif susmentionné. En particulier, il permet de simuler, en temps réel, une imagerie médicale réaliste et interactive, couvrant un très grand nombre de zone internes d’un patient, sans nécessité de changer de console anatomique.
Le dispositif d’usinage selon l’invention peut comprendre une ou plusieurs des caractéristiques suivantes, prises isolément les unes des autres ou en combinaison les unes avec les autres : - l’écran virtuel de la scène virtuelle peut afficher, en temps réel, de toute modification de tout ou partie de la zone cible interne,
- la scène virtuelle peut présenter en outre une sonde virtuelle formant image virtuelle de la sonde factice, la sonde virtuelle étant associée à la sonde factice par le système de réalité virtuelle de manière à ce que chaque mouvement de la sonde factice dans l’espace réel soit reproduit par la sonde virtuelle dans la scène virtuelle,
- le système de réalité virtuelle peut comporter un outil mobile de calibration, l’outil de calibration formant tout ou partie d’une poignée de la sonde factice,
- la tête d’interaction de la sonde factice peut comporter au moins un élément d’interface configuré pour générer un retour haptique prédéterminé quand la sonde factice est en contact avec F au moins une zone d’interaction,
- la surface d’interaction peut comporter une première zone d’interaction et une deuxième zone d’interaction, la tête d’interaction étant configuré pour : générer un premier retour haptique spécifique quand la sonde factice est en contact avec la première zone d’interaction, et générer une deuxième retour haptique spécifique quand la sonde factice est en contact avec la deuxième zone d’interaction,
- la sonde factice peut être une sonde d’échographie factice et l’examen médical est une échographie,
- la sonde factice peut être une sonde d’endoscopie factice et l’examen médical est une endoscopie,
- le dispositif peut comporter un outil chirurgical factice configuré pour être connecté à l’unité de contrôle, la scène virtuelle comportant un outil chirurgical virtuel formant image virtuelle de l’outil chirurgical factice, l’outil chirurgical virtuel étant associé à l’outil chirurgical factice par le système de réalité virtuelle de manière à ce que chaque mouvement de l’outil chirurgical factice dans l’espace réel soit reproduit par l’outil chirurgical virtuel dans la scène virtuelle,
- le dispositif peut comporter un bras haptique mobile connecté à l’unité de contrôle et configuré pour fixer l’outil chirurgical factice, de manière à générer un retour haptique prédéterminé quand l’outil chirurgical factice coopère avec la surface d’interaction de la console anatomique. DESCRIPTION DES FIGURES
L’invention sera mieux comprise, et d’autres buts, détails, caractéristiques et avantages de celle-ci apparaîtront plus clairement à la lecture de la description explicative détaillée qui va suivre, de modes de réalisation de l’invention donnés à titre d’exemples purement illustratifs et non limitatifs, en référence aux dessins schématiques annexés. Sur ces dessins : la figure 1 est une vue en perspective d’un dispositif selon un premier mode de réalisation de la présente invention, les figures 2a et 2b sont, respectivement, une vue en perspective et une vue en coupe d’une sonde factice selon la présente invention, les figures 3a et 3b sont des vues détaillées de la scène virtuelle générée par le dispositif selon l’invention, la figure 4 est une vue en perspective d’un dispositif selon un deuxième mode de réalisation de la présente invention, incluant un bras haptique mobile, la figure 5a est une vue en perspective du mode de réalisation de la figure 4, la figure 5b est une vue en perspective d’un dispositif selon un troisième mode de réalisation de la présente invention, incluant également un bras haptique mobile.
DESCRIPTION DÉTAILLÉE
Imagerie
La présente invention permet à un apprenti praticien de s’entraîner à réaliser un examen d’imagerie médicale. L’aspect d’imagerie de la présente invention repose uniquement sur l’observation d’une (ou plusieurs) image(s) 100 simulée(s).
La présente invention concerne ainsi un dispositif 10 pour la visualisation, par au moins un utilisateur, d’une image simulée 100 d’au moins une zone cible interne Z d’un corps humain au cours d’une simulation d’un examen d’imagerie médicale.
La zone cible interne Z peut par exemple être un intérieur de conduit intestinal, diverses régions de l’abdomen, (région épigastrique, région ombilicale, etc.), un organe spécifique, muscle ou un ensemble de muscles, etc. Cette simulation d’examen d’imagerie médicale peut ainsi être, par exemple, une simulation d’échographie, de coloscopie ou de fibroscopie.
Comme visible sur la figure 1, le dispositif 10 selon la présente invention comporte : une console anatomique 12 formant base, une sonde factice 14 comportant une tête d’interaction 16, un système de réalité virtuelle 18 comportant :
■ un écran 20,
■ un système de localisation et d’orientation 22,
■ une unité de contrôle 24.
En résumé, le dispositif 10 est configuré pour qu’un utilisateur manipulant la sonde factice 14 en coopération avec la console anatomique 12 puisse voir apparaître tout ou partie de la zone cible interne Z sur l’écran 20. En déplaçant la sonde factice par rapport à la console anatomique 12, l’utilisateur peut observer différentes parties de la zone cible interne Z, exactement comme lors d’un examen d’échographie, par exemple. La zone cible interne Z est rendue visible à l’utilisateur exclusivement au moyen d’au moins une image simulée 100, de préférence plusieurs images simulées 100.
De préférence, la console anatomique 12 est une entité autonome destinée à être posée sur une surface plane, tel que le sol ou une table, représentant et/ou reconstituant en 3D tout ou partie d’une partie anatomique externe d’un patient P. Plus particulièrement, la console anatomique 12 comporte une surface d’interaction 26 représentant et/ou reconstituant en 3D tout ou partie d’une partie anatomique externe d’un patient P. De préférence, la console anatomique 12 et plus particulièrement la surface d’interaction 26 est conçue de manière à permettre un retour tactile et même, selon les modes de réalisation, un retour haptique, quand l’utilisateur interagit avec celle-ci. La surface d’interaction 26 présente préférentiellement au moins une caractéristique de rigidité similaire à celle d’une paroi anatomique humaine.
Dans la présente demande, la notion de « retour (ou signal) haptique » est entendue comme un signal généré activement par le dispositif 10 selon la présente invention. Il est à différencier de la notion de « retour tactile » qui est un simple retour passif, généré automatiquement par l’interaction entre l’utilisateur et le dispositif 10 en réaction à la manipulation d’objets animés ou inanimés.
La console anatomique 12 peut notamment comprendre un ou plusieurs éléments fabriqués en silicone, par exemple. La console anatomique 12, et plus particulièrement la surface d’interaction 26 ; permet ainsi, selon les modes de réalisation, de donner l’illusion à l’utilisateur d’interagir avec une partie anatomique externe d’un patient P. Dans le cas d’une simulation d’échographie obstétricale, par exemple, la surface d’interaction présente une forme convexe arrondie de manière à représenter un ventre de personne enceinte du nombre de mois souhaité pour la simulation. Dans le mode de réalisation représenté en figures 4 et 5a, la console anatomique 12 représente le cou d’un patient P, dans le cadre d’une simulation de l’ablation d’un nodule thyroïdien bénin par l’utilisation de d’une antenne qui produit des micro-ondes en son bout.
Dans le mode de réalisation représenté en figure 1, la surface d’interaction 26 est découpée en une série de zones d’interaction 28 présentant des dimensions et des forme variables. Suivant le mode de réalisation, la surface d’interaction 26 est découpée en une série de zones d’interaction 28 présentant des dimensions et des forme similaires. La surface d’interaction 26 peut être une surface plane, concave et/ou convexe. Elle peut être une surface externe à la console anatomique 12 (surface ouverte) située en surface de la console anatomique 12 ou une surface interne à la console anatomique 12 (surface fermée) accessible par une ouverture ménagée dans la console anatomique 12, par exemple l’intérieur d’un tube ou d’un canal (voir figure 5b). La surface d’interaction 26 peut comprendre un revêtement externe en silicone.
Chaque zone d’interaction 28 est associée à une image simulée 100 de tout ou partie de la zone cible interne Z. Selon les modes de réalisations, chaque zone d’interaction 28 peut être associée à plusieurs images simulées 100. Ces images simulées 100 sont organisées en séquence précise et sont présentées successivement à l’utilisateur, de manière à simuler un mouvement dans tout ou partie de la zone cible interne Z (par exemple, dans le cas d’une échographie obstétricale, le mouvement d’un fœtus). Ainsi, dans certains modes de réalisation, quand la tête d’interaction 16 de la sonde factice 14 coopère sur une durée étendue avec la zone d’interaction 28, plusieurs images simulées 100 défilent sur l’écran 20.
Les images simulées 100 ne sont pas issues de données réelles lues par une sonde réelle. Chaque image simulée 100 est générée, par le système de réalité virtuelle 18, au moyen de modèles 3D représentant les nodules, les liquides et les organes de la zone cible interne Z. Ces modèles sont ensuite simplifiés en courbes mathématiques de base (au lieu de triangles).
Préférentiellement, afin d’éviter que l'utilisateur ne se sente étourdi et/ou malade, le système de réalité virtuelle 18 maintient le taux de mise à jour d'images simulées de 100 à 60 images par seconde, préférentiellement 65 images simulées par seconde.
Les approches disponibles sur le marché ne répondent pas à cette exigence, ne répondant qu'à environ 40 à 50 images par seconde, car les logiciels de calculs associés à ces approches prennent en compte trop de données et de calculs non indispensables dans le cadre de la présente invention. Dans le cadre de la présente invention, le processus logique habituel en mathématiques a donc été optimisé afin de permettre d’atteindre de 100 à 60 images par seconde, préférentiellement 65 images simulées par seconde.
Cette vitesse de simulation permet, dans le cadre d’une simulation d’échographie, d’augmenter le réalisme de la simulation et de simuler une propagation physique réaliste à travers l'anatomie et à le traiter pour le visualiser en temps réel dans la scène virtuelle 101 (voir plus bas).
La sonde factice 14 présente une forme similaire à une sonde médicale réelle, de façon à permettre de maximiser le réalisme de la simulation et d’offrir les meilleures conditions d’entraînement à l’utilisateur. Plus particulièrement, comme représenté en figures 2a et 2b, la sonde factice 14 comporte une tête d’interaction 16 configurée pour coopérer avec la surface d’interaction 26. Cette coopération peut être une coopération par contact, par frottement, par translation ou par exemple par glissement. Dans le cadre d’une simulation d’échographie, par exemple, la tête d’interaction 16 est configurée pour coopérer par glissement avec la surface d’interaction 26 (surface externe, ouverte), l’utilisateur étant amené à faire glisser la tête d’interaction 16 de la sonde factice 14 sur la surface d’interaction 26 de la console anatomique. Dans le cadre d’une simulation de coloscopie, par exemple, la tête d’interaction 16 est configurée pour coopérer par translation avec la surface d’interaction 26 (surface interne, fermée), l’utilisateur étant amené à faire avancer la tête d’interaction 16 de la sonde factice 14 le long de la surface d’interaction 26 de la console anatomique 12.
Dans certains modes de réalisation, la sonde factice 14 est une sonde d’échographie factice et l’examen médical simulé est une échographie. Dans certains modes de réalisation, la sonde factice 14 est une sonde d’endoscopie ou de coloscopie factice et l’examen médical simulé est une endoscopie ou une coloscopie.
Afin de maximiser le réalisme de la simulation, par exemple dans certains modes de réalisation d’examens échographiques (voir figures 2a et 2b), la tête d’interaction 16 de la sonde factice 14 comporte au moins un élément d’interface 29a, 29b configuré pour générer un retour haptique prédéterminé quand la sonde factice 14 est en contact avec l’au moins une zone d’interaction 28 de la surface d’interaction 26. Plus particulièrement, comme illustré en figures 2a et 2b, la tête d’interaction 16 de la sonde factice 14 représente une sonde d’échographie et elle comprend deux billes en métal 29a chacune associée à un ressort 29b de manière à faire ressentir à l’utilisateur une sensation proche de celle d’une vraie sonde lors de la manipulation de celle-ci sur la peau d’un patient P réel avec un gel (glissement). Les ressorts 29b sont contraints dans un canal qui permet de s’assurer que la force de chaque ressort 29b est toujours orientée vers la bille 29a correspondante. Entre les ressorts 29b et les billes 29a en métal se trouve une pièce d’interface en Nylon dont la surface de contact avec les billes 29a est un enchaînement de franges vides et pleines de matière, de manière à limiter la surface de contact et donc le frottement pour favoriser le roulement des billes 29a. La pièce d’interface en Nylon est également contrainte par un canal et permet une pression homogène qui englobe les billes 29a et les pousse contre la paroi inférieure de la tête d’interaction 16. Au repos, cela contraint les billes 29a et empêche leur rotation et translation. Lorsque la tête d’interaction 16 de la sonde factice 14 est pressée contre la surface d’interaction 26 de la console anatomique 12 et qu’un mouvement de translation tangent à la surface d’interaction 26 de la console anatomique 12 est appliqué à la sonde factice 14, les billes 29a ne sont plus en contact avec la paroi de la tête d’interaction 16 de la sonde factice 14 et disposent de plus d’espace en ayant pour seul contact avec la sonde factice 14, la pièce d’interface en Nylon. Elles glissent donc beaucoup mieux. Le revêtement en silicone de la surface d’interaction 26 de la console anatomique 12 ayant une surface légèrement « visqueuse », les billes accrochent cette surface et glissent sur la pièce d’interface pour imiter la réalité.
Dans un souci de réalisme, dans certains modes de réalisation, la surface d’interaction 26 comporte une première zone d’interaction 28 et une deuxième zone d’interaction 28. Dans ces cas la tête d’interaction 16 peut être configurées pour : générer un premier retour haptique spécifique quand la sonde factice 14 est en contact avec la première zone d’interaction 28, et générer une deuxième retour haptique spécifique quand la sonde factice 14 est en contact avec la deuxième zone d’interaction 28.
Ceci pourrait permettre de simuler un nodule sous la peau ou un changement dans la rigidité ou l’élasticité de la peau d’un patient P avec une tumeur ou une cicatrice, par exemple.
L’écran 20 du système de réalité virtuelle 18 permet à un utilisateur de visualiser la simulation. Plus particulièrement, l’écran 20 permet à un (ou plusieurs) utilisateur(s) de visualiser une scène virtuelle 101 qui sera décrite plus bas. L’écran 20 peut être un élément fixe dans l’espace réel ou un élément mobile dans l’espace réel, par exemple, configuré pour être porté par l’utilisateur pendant la simulation. Le dispositif 10 peut comporter plusieurs écrans 20, permettant à plusieurs utilisateurs de visualiser la simulation, ou même d’y participer. Les différents écrans 20 peuvent ainsi être mobiles ou fixes. Plus précisément, comme visible sur les figures 3a et 3b, l’écran 20 peut être un écran posé sur une surface à proximité ou à distance de la console anatomique 12. Dans un autre mode de réalisation, l’écran 20 peut être un casque de réalité virtuelle, ajustable à l'utilisateur et pouvant fournir un retour audio (voir figure 1). Plus particulièrement, il peut s’agir d'un casque HP reverb® possédant deux écrans d'une résolution de 2160x2160 pixels, d’un casque Meta Quest 3® ou d’un casque Apple Vision Pro, par exemple®. Chaque écran a une fréquence d'affichage de 90 Hz. Le système de réalité virtuelle 18 comprend également un système de localisation et d’orientation 22, configuré pour localiser la console anatomique 12 et la sonde factice 14 dans l’espace réel. Le système de localisation et d’orientation 22 comporte ainsi, de manière connue en soi, au moins un outil de calibration mobile Ki. Cet outil de calibration mobile Ki peut prendre la forme d’une manette classique comme par exemple illustré en figures 4a et 4b, mais il peut aussi prendre une forme différente. De préférence, l’outil de calibration Ki forme un manche 30 de la sonde factice 14 (voir figures 4, 5a et 5b).
Lorsque l’écran 20 est un casque de réalité virtuelle, celui-ci peut scanner son environnement et est capable d’identifier sa position relative à cet environnement (espace réel). De manière connue en soi et comme déjà mentionné, chaque casque de réalité virtuelle est préférentiellement associé à au moins un outil de calibration Ki. La position de l’au-moins un outil de calibration Ki par rapport au casque de réalité virtuelle est identifiée par le casque (une caméra sur le casque peut par exemple identifier des constellations de lumière IR sur une face de l’outil de calibration). Cela permet d’avoir la position de l’au-moins un outil de calibration Ki (et donc de la sonde factice 14 lorsque celle-ci est associée à l’outil de calibration) par rapport à l’espace réel.
La console anatomique 12 comprend par ailleurs au moins une base de calibration K2 pour l’au-moins un outil de calibration Ki. Cette base de calibration K2 comprend une empreinte, dans laquelle on peut poser l’au-moins un outil de calibration Ki d’une manière unique et répétable. Cela permet de connaître la position de la console anatomique 12, de l’écran 20 et de la sonde factice 14 relativement à l’espace réel et d’étudier en temps réel chacun de leurs mouvements.
Dans le cas où l’écran 20 est un dispositif mobile configuré pour être porté par l’utilisateur (un casque de réalité virtuelle), le système de réalité virtuelle 18 permet en outre de localiser l’utilisateur par rapport à la console anatomique 12.
Comme mentionné plus haut, le système de réalité virtuelle 18 comporte en outre une unité de contrôle 24. Cette unité de contrôle 24 est notamment configurée pour : générer la scène virtuelle 101, et associer tout ou partie de la zone cible interne Z à l’au moins une zone d’interaction 28 de la surface d’interaction 26.
L ‘unité de contrôle 24 peut être intégrée à la console anatomique 12 (comme illustré sur les figures) ou peut être un élément rapporté, tel qu’un ordinateur, connectée, de manière filaire ou non-filaire à la console anatomique 12.
L’unité de contrôle 24 est connectée à l’écran 20 (de manière filaire ou non filaire) et est configuré pour aligner la scène virtuelle 101 (réalité virtuelle) sur l’espace réel (réalité physique de l’utilisateur manipulant la plateforme le dispositif 10 selon la présente invention).
La scène virtuelle 101 est un espace virtuel affiché à l’utilisateur sur l’écran 20. Si l’écran est un casque de réalité virtuelle, la scène virtuelle 101 est immersive. Selon les modes de réalisation, la scène virtuelle 101 peut comprendre différents éléments virtuels fixes ou mobiles, afin d’augmenter le réalisme de la simulation pour l’utilisateur. Ainsi la scène virtuelle 101 peut comporter : une sonde virtuelle 114 formant image virtuelle de la sonde factice 14, et/ou une paroi anatomique virtuelle 126 formant image virtuelle de la surface d’interaction 26, et/ou une main virtuelle 150 de l’utilisateur, associée à une poignée virtuelle 130 de la sonde factice 114, et/ou un décor de bloc opératoire ou de cabinet médical, un ou plusieurs éléments constitutifs de la zone cible interne Z (par exemple tout ou partie d’organes, des groupements musculaires, une tumeur, un os, etc.
La sonde virtuelle 114 est associée à la sonde factice 14 par le système de réalité virtuelle 18 de manière à ce que chaque mouvement de la sonde factice 14 dans l’espace réel soit reproduit par la sonde virtuelle 114 dans la scène virtuelle. La paroi anatomique virtuelle 126 est associée à la surface d’interaction 26 par le système de réalité virtuelle 18 de manière à ce que chaque mouvement de la surface d’interaction dans la réalité soit reproduit par la paroi anatomique virtuelle dans la scène virtuelle
Dans tous les cas, la scène virtuelle 101 présente un écran virtuel 102 destiné à afficher 4 pour l’utilisateur, chaque image simulée 100 générée par le système de réalité virtuelle 28. Cet écran virtuel 102 se présente préférablement sous la forme d’un écran bidimensionnel ou écran plat. Il s’agit de l’image d’un écran 2D dans la réalité virtuelle 3D de la scène virtuelle 101. Cet écran virtuel 102 peut, par exemple, apparaître sous la forme classique d’un moniteur, il forme alors moniteur virtuel. Plus particulièrement, lorsque le dispositif 10 est en marche et que la simulation est lancée, l’écran virtuel 102 de la scène virtuelle 101 affiche chaque image simulée 100 de F au moins une zone cible interne Z en temps réel, au fur et à mesure que la tête d’interaction 16 de la sonde factice 14 coopère avec chaque zone d’interaction 28 de la surface d’interaction 26 de la console anatomique 12.
De cette façon, lorsque la tête d’interaction 16 de la sonde factice 14 coopère avec l’au moins une zone d’interaction 28, l’utilisateur voit s’afficher l’au moins une image simulée 100 associée à cette zone d’interaction 28. Chaque zone d’interaction de la surface d’interaction 26 est ainsi associée, par l’unité de contrôle, à l’entièreté ou à une partie prédéterminée de la zone cible interne Z. L’unité de contrôle 24 permet ainsi la création d’un lien de correspondance unique (bijection) entre : une zone d’interaction 28 de l’espace réel, une série d’images simulées 100 comprenant au moins une image simulée 100 représentant tout ou partie de la zone cible interne Z.
En résumé, chaque zone d’interaction 28 correspondant à une partie spécifique de la zone cible interne Z, et permet l’affichage, en temps réel, par l’interaction (la coopération) avec la tête d’interaction 16, de l’ensemble des images simulées 101 correspondant à cette partie spécifique de la zone cible interne Z, sur l’écran virtuel 102 de la scène virtuelle 101.
Intervention chirurgicale Dans certains modes de réalisation qui cherchent à simuler une intervention chirurgicale, pendant la simulation d’imagerie médicale, par exemple, l’ablation d’un nodule thyroïdien bénin par l’utilisation de d’une antenne qui produit des micro-ondes en son bout. Ce type d’opération chirurgicale est menée en parallèle d’un contrôle par échographie.
Dans ces modes de réalisation, le dispositif 10 comporte un outil chirurgical factice 32 configuré pour être connecté à l’unité de contrôle 24. Cet outil chirurgical factice présente des caractéristiques de forme, de poids et de mobilité similaires à un vrai outil chirurgical.
De préférence, le dispositif 10 comporte un bras haptique mobile 34 connecté à l’unité de contrôle 24 et configuré pour fixer l’outil chirurgical factice 32. Cette fixation de l’outil chirurgical factice 32 au bras haptique mobile 34 permet de générer un retour haptique prédéterminé quand l’outil chirurgical factice 32 coopère avec la surface d’interaction 26 de la console anatomique 12.
Le bras haptique mobile 34 permet de connaître la position et l’orientation relative d’un objet qui y est rattaché (voir plus bas). On obtient alors la position et l’orientation de cet objet par rapport à l’unité de contrôle 24 et donc à l’ensemble du système de réalité virtuelle 18. Par ailleurs, la position de l’outil de calibration mobile Ki par rapport à l’unité de contrôle 24 étant connue, on peut alors connaître la position et l’orientation de l’objet connecté au bras haptique mobile 34. De préférence, le bras haptique mobile 34 est connecté à la console anatomique 12 au moyen d’un robot 36 fixé à la console anatomique 12 (voir figures 4, 5a, 5b). Comme visible en figures 4, 5a, 5b, le bras haptique 34 présente, à l’opposé du robot 36, une extrémité libre 38 configurée pour connecter l’moins un outil chirurgicale factice 32.
Le bras haptique mobile 34 est mobile selon au moins six degrés de liberté obtenus au moyen de divers coudes et pièces rotatives coopérant les uns avec les autres de manière à former des articulations Ji, , h, L, Js, JÔ. Plus précisément, et comme visible sur les figures 4, 5a, 5b, les trois premières articulations (articulations distales) sont actionnables par l’utilisateur alors que les trois dernières articulations (articulations proximales) sont passives. Afin de maximiser le réalisme de la simulation, l'outil chirurgical factice 32, une fois connecté au bras haptique mobile 34, doit avoir sa pointe (ou son extrémité libre) positionnée là où le retour haptique se produirait dans la réalité, c’est-à-dire au point haptique du bras haptique. Ce point haptique est désigné comme « HIP ». Le bras haptique 34 simule les retours de force liés à la collision ou aux interactions dans le monde virtuel de la pointe (ou de l’extrémité) de l’outil chirurgical factice 32 manipulé avec un élément de l’environnement virtuel. C’est le point sur lequel les interactions et collisions sont calculées pour pouvoir les simuler sans créer un décalage ou une incohérence haptique, inconfortables et perturbants, pour l’utilisateur. La prise en compte de ce point haptique HIP, permet de simuler la pénétration du corps d’un patient P, par exemple par l’aiguille d’une seringue, en simulant la contrainte exercée par le corps du patient P sur l’aiguille.
Toutes les articulations sont suivies par des capteurs de position afin de déterminer leurs positions angulaires et rotations respectives, mais elles ne bénéficient pas toutes d'un retour haptique. Les articulations qui ne bénéficient pas d’un retour haptique sont référencées J4, J5 et JÔ. En effet, les trois articulations distales présentant des dimensions importantes, il est possible et aisé de les équiper d’un moteur pouvant limiter, si besoin, leur mobilité.
En fonction de ce que la réalité virtuelle générée par l’unité de contrôle est censée représenter à l’utilisateur, les paramètres de mobilité du bras haptique mobile 34 varient et le signal haptique généré par l’unité de contrôle et transmis par le bras haptique mobile 34 à l’utilisateur varie également.
Indépendamment de leur forme et de leur fonction simulée, tous les outils chirurgicaux factices 32 se connectent à l’extrémité libre 38 du bras haptique mobile 34 par une connexion Plug and Play. Dans la présente demande, la notion de « plug and play » décrit une action simple, n’impliquant qu’un nombre limité de gestes, de préférence un seul. Une connexion « plug and play » décrit ainsi une connexion qui se fait d’un seul geste.
Dans ce mode de réalisation incluent un outil chirurgical factice 32, la scène virtuelle 101 comporte un outil chirurgical virtuel 132 formant image virtuelle de l’outil chirurgical factice 32. L’outil chirurgical virtuel 132 est ainsi associé à l’outil chirurgical factice 32 par le système de réalité virtuelle 18 de manière à ce que chaque mouvement de l’outil chirurgical factice 32 dans l’espace réel soit reproduit par l’outil chirurgical virtuel 132 dans la scène virtuelle 101 (voir figure 3b).
Dans ce mode de réalisation, le système de réalité virtuelle 18 est configuré pour mettre en œuvre une calibration entre l’écran 20 et la console anatomique 12 par triangulation. Plus précisément, le système de réalité virtuelle 18 permet une interaction réelle et virtuelle entre les mouvements de l’outil chirurgical factice 32 et les interactions avec la surface d’interaction 26 et les images simulées 100 affichées sur l’écran virtuel 102 de la scène virtuelle 101. En effet, en fonction des mouvements de l’outil chirurgical factice 32 et des interactions avec la surface d’interaction 26, les images simulées 100 peuvent comprendre une représentation de l’outil chirurgical factice 32.
Par ailleurs, le système de réalité virtuelle 18 permet, dans la scène virtuelle 101 une interaction entre l’outil chirurgical virtuel 132 et au moins un des éléments constitutifs de la zone cible interne Z. Si cet ou ces élément(s) constitutifs) ne sont pas directement visibles dans la scène virtuelle, mais uniquement visibles via l’écran bidimensionnel 102 de la scène virtuelle 101, le système de réalité virtuelle 18 connaît néanmoins la position de chaque élément constitutif de la zone cible interne Z et permet, en fonction des déplacements et actions de l’outil chirurgical factice 32 connecté au bras haptique mobile 34 et donc de l’outil chirurgical virtuel 132 : via le bras haptique mobile 34, de générer un retour haptique spécifique issu de l’interaction simulée entre l’outil chirurgical virtuel 132 et au moins un élément constitutif de la zone cible interne Z à l’utilisateur, via l’écran bidimensionnel 102 de la scène virtuelle 101 ou directement via la scène virtuelle 101, de générer un retour visuel à l’utilisateur.
L’objectif est de, permettre à l’utilisateur de, en même temps : déplacer (avec une première main) la sonde factice 14 (comportant l’outil de calibration Ki) sur la surface d’interaction 26 de la console anatomique 12 afin de visualiser une ou plusieurs images simulées 100 de tout ou partir de la zone cible interne Z d’un patient virtuel P sur l’écran virtuel 102 déporté (à côté du patient virtuel P), et avec l’autre main, déplacer l’outil chirurgical factice 32 fixé sur le bras haptique mobile 34 le long et/ou autour de la surface d’interaction 26 de la console anatomique 12, pour pouvoir, d’une part, visualiser sur l’image (ou les images) simulée(s) 100 donnée(s) par la sonde factice 14, le bout de l’outil chirurgical factice 32, et d’autre part, de la sonde factice 14 sur un plan intéressant de l’anatomie (donc de la surface d’interaction 26) avec l’outil chirurgical factice 32 tout en évitant des zones anatomiques à risque.
Dans un autre cas de figure, F objectif est de permettre à un utilisateur de, en même temps : déplacer (avec une première main) une caméra endoscopique factice (sonde factice 14 qui comprend un outil de calibration Ki) à l’intérieur de la console anatomique 12 par une surface d’interaction 26 fermée qui mène à l’intérieur du corps (à l’intérieur du dos au niveau de la colonne vertébrale par exemple) afin de visualiser une ou plusieurs image(s) simulée(s) 100 de l’intérieur du dos (muscles, ligaments jaune, vertèbres et disques inter-vertébraux) sur un l’écran virtuel 102 déporté (à côté du patient P), et avec l’autre main, de déplacer une réplique de fraiseuse électrique fixée sur bras haptique mobile 34 à l’intérieur du dos afin d’une part, de trouver le bout de la fraiseuse motorisée sur la vue déportée de la caméra, et d’autre part de se positionner correctement au niveau anatomique afin de pouvoir fraiser une partie de la vertèbre.
Procédé d’imagerie
Le dispositif 10 selon la présente invention permet de mettre en œuvre un procédé de visualisation d’imagerie médicale basé sur la visualisation (par un utilisateur) d’une ou plusieurs image(s) simulée(s) 100 de la zone cible interne Z d’un patient virtuel P.
L’une ou plusieurs image(s) simulée(s) de la zone cible interne Z sont basées sur des modèles stockés dans la mémoire de l’unité de contrôle 24 et sont ensuite recréées en fonction du positionnement de la sonde factice 14. Plus précisément, les étapes réalisées par le dispositif 10 pour afficher une série d’images simulées 100, se présentent comme suit : modéliser, sous forme de modèle 3D, tous les différents organes internes, tissus et tumeurs de la zone cible interne Z ; prétraiter les modèles 3D dans un meilleur format pour augmenter la vitesse d’exécution (comme explicité plus haut) ; rassembler toutes les données nécessaires (modèles prétraités, données chirurgicales) et les envoyer à une carte graphique de l’unité de contrôle 24 pour traitement ; utiliser la position de la sonde factice 14 comme origine pour un Ray Tracing (voir plus bas) ; définir un plan d’imagerie dans la scène virtuelle 101, projeter les résultats du Ray Tracing dans le plan échographique de la scène virtuelle 101 ; ajouter des effets de post-traitement pour donner une impression réaliste d’une image médicale, par exemple provenant d’une échographie.
Le plan d’imagerie peut être un plan coplanaire avec un axe d’extension de la sonde factice 14 (dans le cas d’une échographie) ou un plan orthogonal à l’axe d’extension de la sonde factice 14 (dans le cas d’une endoscopie).
Le ray tracing est une technique qui permet d’émuler le parcours de la lumière et ses interactions avec l’environnement, autrement dit son altération vis-à-vis des phénomènes physiques et des objets ; notamment des effets de réflexion et de réfraction, mais aussi les ombres et d’autres phénomènes optiques plus complexes.
Procédé de simulation chirurgicale
Dans les modes de réalisation dans lesquels le dispositif 10 comprend également un bras haptique mobile 34 connecté à l’unité de contrôle 24 et configuré pour fixer l’outil chirurgical factice 32, l’objectif du dispositif 10 est de permettre à un utilisateur d’exécuter une simulation de chirurgie, guidé par la simulation d’imagerie médicale. Le dispositif 10 permet donc de faire réagir l’imagerie médicale simulée aux opérations simulées effectuées par l’utilisateur pendant la simulation chirurgicale.
Ainsi, en plus d’utiliser la position de la sonde factice 14 comme origine pour un Ray Tracing, le système de réalité virtuelle 18 utilise la position de l’outil chirurgical factice 32 et les actions réalisées sur celui-ci par l’utilisateur pour simuler, si nécessaire, une interaction entre au moins un élément constitutif de la zone cible interne Z et l’outil chirurgical virtuel 132 et générer la ou les images virtuelles simulées 100 correspondantes.
La difficulté technique est ainsi, pour le dispositif 10, non seulement d’afficher avec réalisme dans l’écran bidimensionnel 102 de la scène virtuelle 101 un visuel d’imagerie médicale, mais également de modifier l’état des modèles 3D en fonction de l’utilisation de l’outil chirurgical factice 32 (et donc l’outil chirurgical virtuel 132) tenu par l’utilisateur. Cette affichage est réalisé de manière non « animé » (en temps réel) ce qui permet à l’utilisateur d’une session de simulation chirurgicale, en partant de la même anatomie d’avoir un résultat différent suivant la durée et l’intensité d’interaction (l’utilisateur choisi quand activer/désactiver l’outil chirurgical factice/virtuel 32, 132), et également la position de l’outil chirurgical factice/virtuel 32, 132 par rapport à l’élément constitutif de la zone cible interne Z visé par la simulation chirurgicale.
Ainsi, les étapes réalisées par le dispositif 10 pour afficher une série d’images simulées 100 pendant une simulation chirurgicale, se présentent comme suit : modéliser, sous forme de modèle 3D, tous les différents organes internes, tissus et tumeurs de la zone cible interne Z ; prétraiter les modèles 3D dans un meilleur format pour augmenter la vitesse d’exécution (comme explicité plus haut) ; rassembler toutes les données nécessaires (modèles prétraités, données chirurgicales propres aux actions prévues par l’outil chirurgical factice 32 et les envoyer à une carte graphique de l’unité de contrôle 24 pour traitement ; utiliser la position de la sonde factice 14 comme origine pour un Ray Tracing (voir plus bas) ; définir un plan d’imagerie dans la scène virtuelle 101, calculer la position de l’outil chirurgical factice 132, suivre et mesurer les actions réalisées sur l’outil chirurgical factice, modifier l’état des modèles 3D en fonction de l’utilisation de l’outil chirurgical factice 32, projeter les résultats du Ray Tracing dans le plan échographique de la scène virtuelle 101 ; ajouter des effets de post-traitement pour donner une impression réaliste d’une image médicale, par exemple provenant d’une échographie.
Ainsi, l’écran virtuel 102 de la scène virtuelle 101 affiche, en temps réel, de toute modification de tout ou partie de la zone cible interne Z.
Par exemple dans le cas d’une simulation d’une ablation d’une tumeur bénigne (nodule) au moyen d’une antenne chauffante à micro-ondes (l’outil chirurgical factice 32 est une reconstitution d’une antenne chauffante).
Le dispositif 10 affiche avec réalisme dans l’écran bidimensionnel 102 un visuel d’échographie et le le système de réalité virtuelle 18 modifier l’état des modèles 3D en fonction de l’utilisation de l’antenne qui est tenue dans une main de l’utilisateur. L’autre main manipule la sonde factice 14. L’affichage se passe en temps réel, permettant à l’utilisateur de la session de simulation chirurgicale de partir de la même anatomie et d’obtenir un déroulé différent en fonction de la durée d’exposition (l’utilisateur choisit quand activer/désactiver l’antenne), la puissance d’exposition (choisie par l’utilisateur) et également la position de l’antenne par rapport au nodule.
La particularité de l’échographie est liée à la physique du déplacement des ultrasons dans les différents matériaux. Ce qui est liquide est visuellement noir (eau, sang) car absorbe fonde. Ce qui est solide est blanc (os, parois des organes, etc) car les éléments solides amplifient le signal. Plus généralement, il s'agit de gradient entre noir et blanc. Il y a également des phénomènes d'ombres et de surexposition liés au changement de matériaux. Lorsque le nodule brûle, par micro-onde, il devient plus blanc et en refroidissant il devient noir. Si celui-ci et totalement brûlé il reste totalement noir. Dans cette opération, il est important de ne brûler que 80% du nodule.
Le fait que l’utilisateur soit libre d’impacter le nodule différemment à chaque fois, fait que les données à traiter en temps réel, par le dispositif 10, sont bien plus nombreuses et plus complexes que si on visualisait juste un « film » en VR.

Claims

REVENDICATIONS
1. Dispositif (10) pour la visualisation d’une image simulée (100) d’une zone cible interne (Z) d’un corps humain au cours d’une simulation d’un examen d’imagerie médicale, le dispositif (10) comportant : une console anatomique (12) formant base, la console anatomique (12) comportant une surface d’interaction (26) comportant au moins une zone d’interaction (28), une sonde factice (14) comportant une tête d’interaction (16), la tête d’interaction (16) étant configurée pour coopérer avec la surface d’interaction (26), une scène virtuelle (101) présentant un écran virtuel (102), un système de réalité virtuelle (18) comportant :
■ un écran (20) permettant la visualisation de la scène virtuelle (18),
■ un système de localisation et d’orientation (22), configuré pour localiser la console anatomique (12) et la sonde factice (14) dans l’espace réel,
■ une unité de contrôle (24) configurée pour générer la scène virtuelle (101) et associer tout ou partie de l’au moins une zone cible interne (Z) à l’au moins une zone d’interaction (28), caractérisé en ce que l’écran virtuel (102) de la scène virtuelle (101) affiche l’image simulée (100) de tout ou partie de la zone cible interne (Z) en temps réel, quand la tête d’interaction (16) de la sonde factice (14) coopère avec l’au moins une zone d’interaction (28) de la surface d’interaction (26).
2. Dispositif (10) selon l’une quelconque des revendications précédentes, caractérisé en ce que l’écran virtuel (102) de la scène virtuelle (101) affiche, en temps réel, de toute modification de tout ou partie de la zone cible interne (Z).
3. Dispositif (10) selon l’une quelconque des revendications précédentes, caractérisé en ce que la scène virtuelle (101) présente en outre une sonde virtuelle (114) formant image virtuelle de la sonde factice (14), la sonde virtuelle (114) étant associée à la sonde factice (14) par le système de réalité virtuelle (18) de manière à ce que chaque mouvement de la sonde factice (14) dans l’espace réel soit reproduit par la sonde virtuelle (114) dans la scène virtuelle (101).
4. Dispositif (10) selon l’une quelconque des revendications précédentes, caractérisé en ce que le système de réalité virtuelle (18) comporte un outil mobile de calibration(Ki), l’outil de calibration formant tout ou partie d’une poignée (30) de la sonde factice (14).
5. Dispositif (10) selon l’une quelconque des revendications précédentes, caractérisé en ce que la tête d’interaction (16) de la sonde factice (14) comporte au moins un élément d’interface (29) configuré pour générer un retour haptique prédéterminé quand la sonde factice (14) est en contact avec l’au moins une zone d’interaction (28).
6. Dispositif (10) selon la revendication précédente, caractérisé en ce que la surface d’interaction (26) comporte une première zone d’interaction (28) et une deuxième zone d’interaction (28), la tête d’interaction (16) étant configuré pour : générer un premier retour haptique spécifique quand la sonde factice (14) est en contact avec la première zone d’interaction (28), et générer une deuxième retour haptique spécifique quand la sonde factice (14) est en contact avec la deuxième zone d’interaction (28).
7. Dispositif (10) selon l’une quelconque des revendications précédentes, caractérisé en ce que la sonde factice (14) est une sonde d’échographie factice et l’examen médical est une échographie.
8. Dispositif (10) selon l’une quelconque des revendications précédentes, caractérisé en ce que la sonde factice (14) est une sonde d’endoscopie factice et l’examen médical est une endoscopie.
9. Dispositif (10) selon l’une quelconque des revendications précédentes, caractérisé en ce que le dispositif (10) comporte un outil chirurgical factice (32) configuré pour être connecté à l’unité de contrôle (24), la scène virtuelle (101) comportant un outil chirurgical virtuel (132) formant image virtuelle (100) de l’outil chirurgical factice (32), l’outil chirurgical virtuel (132) étant associé à l’outil chirurgical factice (32) par le système de réalité virtuelle (18) de manière à ce que chaque mouvement de l’outil chirurgical factice (32) dans l’espace réel soit reproduit par l’outil chirurgical virtuel (132) dans la scène virtuelle (101).
10. Dispositif (10) selon la revendications précédente, caractérisé en ce que le dispositif (10) comporte un bras haptique mobile (34) connecté à l’unité de contrôle (24) et configuré pour fixer l’outil chirurgical factice (32), de manière à générer un retour haptique prédéterminé quand l’outil chirurgical factice (32) coopère avec la surface d’interaction (26) de la console anatomique (12).
PCT/FR2025/050296 2024-04-08 2025-04-08 Système d'imagerie par réalité virtuelle Pending WO2025215329A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2403616 2024-04-08
FR2403616A FR3161058A1 (fr) 2024-04-08 2024-04-08 Système d’imagerie par réalité virtuelle

Publications (1)

Publication Number Publication Date
WO2025215329A1 true WO2025215329A1 (fr) 2025-10-16

Family

ID=92626777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2025/050296 Pending WO2025215329A1 (fr) 2024-04-08 2025-04-08 Système d'imagerie par réalité virtuelle

Country Status (2)

Country Link
FR (1) FR3161058A1 (fr)
WO (1) WO2025215329A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130189663A1 (en) * 2012-01-23 2013-07-25 Eidgenossische Technische Hochschule Zurich Medical training systems and methods
CN108352132A (zh) * 2015-10-16 2018-07-31 维塔医疗股份公司 超声模拟方法
US10902677B2 (en) * 2010-04-09 2021-01-26 University Of Florida Research Foundation, Incorporated Interactive mixed reality system and uses thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902677B2 (en) * 2010-04-09 2021-01-26 University Of Florida Research Foundation, Incorporated Interactive mixed reality system and uses thereof
US20130189663A1 (en) * 2012-01-23 2013-07-25 Eidgenossische Technische Hochschule Zurich Medical training systems and methods
CN108352132A (zh) * 2015-10-16 2018-07-31 维塔医疗股份公司 超声模拟方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALLGAIER MAREEN ET AL: "LiVRSono - Virtual Reality Training with Haptics for Intraoperative Ultrasound", 2023 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR), IEEE, 16 October 2023 (2023-10-16), pages 980 - 989, XP034480316, DOI: 10.1109/ISMAR59233.2023.00114 *

Also Published As

Publication number Publication date
FR3161058A1 (fr) 2025-10-10

Similar Documents

Publication Publication Date Title
US9396669B2 (en) Surgical procedure capture, modelling, and editing interactive playback
EP3991014B1 (fr) Systèmes d'entraînement chirurgical à réalité virtuelle avec rétroaction haptique avancée
Escobar-Castillejos et al. A review of simulators with haptic devices for medical training
Cuschieri Whither minimal access surgery: tribulations and expectations
US6939138B2 (en) Endoscopic tutorial system for urology
Sutherland et al. An augmented reality haptic training simulator for spinal needle procedures
US7261565B2 (en) Endoscopic tutorial system for the pancreatic system
US12364541B2 (en) Virtual reality surgical training systems
EP3966667A1 (fr) Systèmes d'entraînement chirurgical à réalité virtuelle
KR20030083695A (ko) 외과적 치료의 시뮬레이션 방법 및 시스템
CN115457008B (zh) 腹腔实时穿刺虚拟仿真培训方法及装置
US20250123690A1 (en) Virtual reality surgical training systems with advanced haptic feedback
Rasool et al. Image-driven virtual simulation of arthroscopy
EP1275098B1 (fr) Systeme didacticiel d'endoscopie destine a l'urologie
Wheeler et al. Interactive computer-based simulator for training in blade navigation and targeting in myringotomy
JP7579698B2 (ja) 医療情報管理サーバ、手術トレーニング装置、画像送信方法およびプログラム
WO2025215329A1 (fr) Système d'imagerie par réalité virtuelle
Cattari et al. Wearable AR and 3D ultrasound: Towards a novel way to guide surgical dissections
CN114868151A (zh) 在外科手术期间确定被切除组织的体积的系统和方法
Coles Investigating augmented reality visio-haptic techniques for medical training
John et al. An endoscope interface for immersive virtual reality
Yaacoub Development of virtual reality tools for arthroscopic surgery training
Alamilla-Daniel Development of a haptic simulator for practicing the intraarticular needle injection under echography
Yu et al. Novel Visualization Tool for Percutaneous Renal Puncture Training Using Augmented Reality Technology
Pose Díez de la Lastra Augmented Reality in Image-Guided Therapy to Improve Surgical Planning and Guidance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25720444

Country of ref document: EP

Kind code of ref document: A1