[go: up one dir, main page]

WO2004107241A2 - Real-time simulation of actions carried out on a virtual object by means of a virtual tool teleoperated by correlated force feedback devices - Google Patents

Real-time simulation of actions carried out on a virtual object by means of a virtual tool teleoperated by correlated force feedback devices Download PDF

Info

Publication number
WO2004107241A2
WO2004107241A2 PCT/FR2004/001193 FR2004001193W WO2004107241A2 WO 2004107241 A2 WO2004107241 A2 WO 2004107241A2 FR 2004001193 W FR2004001193 W FR 2004001193W WO 2004107241 A2 WO2004107241 A2 WO 2004107241A2
Authority
WO
WIPO (PCT)
Prior art keywords
force feedback
dre
simulation
feedback device
virtual tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2004/001193
Other languages
French (fr)
Other versions
WO2004107241A3 (en
Inventor
Eve Coste-Maniere
Stevan Donal
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de Recherche en Informatique et en Automatique INRIA
Original Assignee
Institut National de Recherche en Informatique et en Automatique INRIA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de Recherche en Informatique et en Automatique INRIA filed Critical Institut National de Recherche en Informatique et en Automatique INRIA
Publication of WO2004107241A2 publication Critical patent/WO2004107241A2/en
Publication of WO2004107241A3 publication Critical patent/WO2004107241A3/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Definitions

  • the invention relates to the field of simulation, and more particularly the real-time simulation of interactions between a virtual object and a virtual tool (or instrument).
  • Simulation is a particularly useful technique during the preparation phase of an intervention (or operation), in particular when the intervention conditions are difficult and / or when the actual interventions are rare and / or dangerous and / or require several participants. , possibly distant from each other. This is particularly the case in the field of surgery where learning surgical procedures is of considerable importance due to the risks run by patients. However, this is also the case in other fields such as functional rehabilitation or underwater robotics.
  • installations comprising, on the one hand, a server provided with the volume model (3D), and sometimes dynamic and behavioral, with at least one virtual object and with the volume and behavioral model d '' at least one virtual intervention tool (or instrument) with multiple degrees of freedom, and on the other hand, one or more stations coupled to the server and equipped with a force feedback device making it possible to remotely control all or part of the virtual intervention tool (s).
  • Each station includes a display, reconstructing the scene, supplied in real time by the server, with image data defining sequences of virtual images of the virtual object (s) and of the virtual tool (s) teleoperated by the device (s)) force feedback.
  • This type of installation therefore allows distant people to act simultaneously on the same intervention tool and therefore to coordinate their actions.
  • this type of installation can also be used in the field of training (or apprenticeship).
  • the teacher can observe in real time, on his display, the result of the actions taken by his (his) students using his (their) force feedback device, and provide him (them) advice and / or send him (their) instructions or information, via a man / machine interface.
  • the installation can also allow students to view the results of actions taken by the teacher using their feedback device on their displays.
  • a teacher cannot force the force feedback device piloted by one of his students to physically reproduce, in real time, the actions he undertakes with his own force feedback device.
  • a student's gestures cannot be physically corrected, which is a real drawback.
  • the invention therefore aims to remedy this drawback.
  • This device is characterized by the fact that it includes processing means loaded, when they receive primary data representative of the states of a virtual tool on which two force feedback devices act (for example those of a master and a student), to determine secondary data representative of a vector (or torsor) force function of a difference between the primary data received, and to transmit the secondary data determined to at least one of the simulation stations (for example that of the student) so that it adapts the force applied to its force feedback device as a function of the secondary data transmitted.
  • processing means loaded, when they receive primary data representative of the states of a virtual tool on which two force feedback devices act (for example those of a master and a student), to determine secondary data representative of a vector (or torsor) force function of a difference between the primary data received, and to transmit the secondary data determined to at least one of the simulation stations (for example that of the student) so that it adapts the force applied to its force feedback device as a function of the secondary data transmitted.
  • the primary data are advantageously transmitted by the simulation stations which determine them using sensor (s). Furthermore, each state is preferably representative of the position and of the orientation of the corresponding force feedback device. In addition, certain primary data may also be representative of additional information relating to the virtual remote-controlled tool, such as for example the articular coordinates of an articulated arm or the degree of opening of a clamp.
  • a priority level can for example define an action authorization on an adjustment parameter and / or an action authorization on another force feedback device and / or an authorization to modify the force applied to another. force feedback device.
  • the simulation device according to the invention may include other characteristics which can be taken separately or in combination, and in particular:
  • processing means capable of defining sessions each associating a simulation station of the "master” type and at least one simulation station of the "student" type
  • processing means capable of associating a master simulation station with at least two sessions
  • processing means arranged so as to transmit the secondary data representative of the force vectors (or torsors) only to student simulation stations, so that the teacher can correct and / or guide the gestures of his students,
  • processing means capable of storing in a memory the operating parameters which define the successive states of the virtual tool due to the actions carried out using force feedback devices whose simulation stations are associated in a same session and involved in the same intervention sequence.
  • the processing means are preferably responsible for transmitting to master and student simulation stations, which are associated in the same session (and which request it), the operating parameters of a stored sequence, so that they can replay this sequence simultaneously on their respective displays.
  • the processing means can be arranged, when one of the two force feedback devices is the subject of an intervention during the viewing of an old sequence, so as to interrupt the transmission of the operating parameters. of this old sequence, then to determine and transmit the secondary data corresponding to the intervention, while proceeding to the recording of the operating parameters representative of the new states of the force feedback devices concerned,
  • processing means that can place, on order, the simulation stations in different operating modes, and in particular:
  • sending in which its force feedback device is authorized to remote operate the tool and its operating parameters are transmitted to the other force feedback devices of its session so that they apply them
  • the invention further relates to a simulation station intended to be part of an installation for real-time simulation of actions carried out on at least one virtual object by at least one virtual tool.
  • This simulation station includes a force feedback device making it possible to remotely control the operation of at least part of the virtual tool as a function of its state, and provided with at least one sensor, delivering data representative of the state of this device, from which primary data representative of the state of the virtual tool on which at least the force feedback device acts, and of control means supplied with primary data and data are determined secondary by a simulation device of the type presented above, and responsible for adapting the force applied to the force feedback device as a function of the primary and secondary data received.
  • the invention also relates to an installation dedicated to the real-time simulation of actions performed on at least one virtual object by at least one virtual tool teleoperated by at least two simulation stations of the type presented above, and comprising a server equipped with a simulation device of the type presented above.
  • Such an installation can for example define an open agent architecture (or OAA for "Open Agent Architecture").
  • the invention also relates to a method dedicated to the real-time simulation of actions performed on at least one virtual object by at least one virtual tool teleoperated by at least two simulation stations of the type presented above.
  • This method consists in determining primary data representative of the states of a virtual tool on which two force feedback devices act, then in determining secondary data representative of a force vector (or torsor) as a function of a difference between the primary data, and to transmit the determined secondary data to at least one of the simulation stations so that it adapts the force applied to its force feedback device as a function of these secondary data.
  • the method according to the invention may include other characteristics which can be taken separately or in combination, and in particular:
  • sessions can be defined, each associating a master simulation station and at least one student simulation station, several sessions that can be managed in parallel, and a master simulation station that can be associated with at least two sessions,
  • the operating parameters of a stored sequence can be transmitted to master and student simulation stations, associated in the same session, so that they simultaneously rebroadcast the sequence on their respective displays.
  • a force feedback device is the subject of an intervention during the replay of an old sequence, it is possible to interrupt the transmission of the operating parameters of this old sequence, then determine and transmit secondary data. corresponding to the intervention, while recording the operating parameters representative of the new states of the force feedback devices concerned,
  • FIG. 1 schematically illustrates an embodiment of an installation according to invention, in a network
  • FIG. 2 schematically illustrates a simulation station on the screen of which the arm of a virtual intervention robot and a virtual organ are materialized.
  • the invention relates to real-time simulation of actions performed on at least one virtual object by at least one virtual tool (or instrument) within a simulation installation.
  • virtual tool or instrument
  • other types of virtual tool (or instrument) can be envisaged, such as, for example, a non-robotic laparoscopic instrument.
  • the simulation installation according to the invention is suitable for learning action sequences making it possible to intervene on a virtual object H, of the deformable organ type. , using a virtual robot R controlled by a force feedback device DRE.
  • the installation is arranged in the form of a network N comprising a server S to which several simulation stations SS are connected (here three)
  • the installation defines for example an open agent architecture ( or OAA for
  • the server S is equipped with a DS simulation device according to the invention, to which we will return later.
  • Each simulation station S S is coupled to a man / machine interface and to a force feedback device DRE comprising at least one control lever 1 (here of the type
  • the man / machine interface can take any form. It can be a keyboard control and / or one or more control keys 4 (sensitive type, or push button, or “mouse”, including a 3D mouse (or "space mouse”)). Graphic tablets, for example of the WACOM type, and / or electronic control pens, and / or means making it possible to address voice commands can also be used.
  • the simulation station SS has been dissociated from the force feedback device DRE, but, they can be integrated into a console opposite which is installed a chair 5 on which a user can be installed.
  • any type of force feedback device can be envisaged, and in particular a pantascope, an immersion type device (or “Impulse engine”), a PHANToM type arm manufactured by the company Sensable Technologies (described for example at the address internet "http://www.sensable.com/products/phantom_ghost/phantom.asp"), a DELTA type arm manufactured by the company Force Dimension (described for example at the internet address "http: //www.forcedimension .com / products / index.html "), or an Freedom 6S type arm manufactured by the company MPB Technologies (described for example at the internet address” http://www.mpb-teclmologies.ca/space/freedom6_ ⁇ 2000 / fés / freedom6s.html "), or a virtual laparoscopy interface with force feedback of PHANToM type manufactured by the company Immersion (described for example at the internet address” http: //www.immersion -
  • the force feedback device is a haptic system.
  • Each force feedback device DRE is equipped with at least one sensor C1 capable of determining at all times its position vector (which defines its position and its orientation). More precisely, each sensor C1 delivers primary data representative of the position vector of the force feedback device DRE with respect to the reference frame of the virtual tool R. These primary data define the state of the virtual tool R on which acts the DRE force feedback device. They can be supplemented by additional (or auxiliary) information relating to the virtual remote-controlled tool R, such as for example the articular coordinates of an articulated arm or the degree of opening of a clamp.
  • Each simulation station SS also includes a screen SC making it possible to display sequences of virtual images (or of synthesis) of the intervention zone, and in particular of the virtual organ H, object of the intervention, and of the arms 2 and 3 of the virtual robot R.
  • the SC screen can also be used to display information relating, for example, to the intervention.
  • each SS simulation station is equipped with an MC control module coupled to the DRE force feedback device.
  • This control module MC receives from the sensor C1 the primary data representative of the position vector (or state) of the associated force feedback device DRE, and consequently of the state of the virtual tool R. It also receives the commands and piloting instructions provided by the user, for example using the keyboard and the keys 4. As will be seen below, he can send commands intended to adapt the force applied to the associated force feedback device DRE .
  • the virtual image sequences displayed on the screens SC are transmitted to the various simulation stations SS by the server S. More specifically, these virtual images are constructed from digital image data delivered by the simulation device DS, according to the 'invention.
  • image data are developed from the volume model (3D), and possibly from the dynamic and / or behavioral model, from the virtual organ, and from the volume and behavior model of the virtual robot R with multiple degrees of freedom, as well as primary data, auxiliary data and control commands and instructions which are transmitted to it, via the network N, by the various control modules MC.
  • the models are preferably stored in a memory MEM of the simulation device DS. Any type of model can be considered, whether static or dynamic, and any type of image processing can be envisaged, whether or not it incorporates deformation, or cutting, or texture, l 'virtual organ.
  • the DS simulation device is conventionally capable of delivering the sequences to each SS simulation station.
  • virtual (or synthetic) images which correspond to the interaction between an instance (or copy) of the virtual object H and an instance (or copy) of the virtual robot R controlled by the associated force feedback device DRE at said SS simulation station.
  • each user can observe on the screen SC of his own simulation station SS the state of the virtual robot R which corresponds to the state of his own force feedback device DRE.
  • the simulation device DS comprises a processing module MT responsible, first of all, for establishing sessions, independent of each other, and each grouping together at least two simulation stations SS.
  • a session corresponds to a "state" common to several clients (or users).
  • the link between a client and a session is established by the S server and can be modified at any time.
  • the different customers share several parameters, and in particular the scene, which is the virtual representation of the observation area, the common virtual object, which is the subject of the intervention, any obstacles and the virtual robot R.
  • Certain parameters can however be modified by each customer, such as for example the position / orientation of the virtual tools placed at the ends of arms 2 and 3 of the robot R.
  • Each customer is associated with a priority level which defines the parameters that it is authorized to modify and therefore what his simulation station SS is authorized to do.
  • a priority level defines the action authorization on an installation adjustment parameter, and / or the action authorization on the force feedback device DRE of another simulation station SS , and / or the authorization to modify the force applied to a force feedback device DRE from another simulation station SS.
  • a priority level therefore defines a mode of operation governing the relationship of the client concerned with clients who belong to the same session and who control the same virtual robot R.
  • a session in the case of learning, includes an SS-M simulation station piloted by a teacher (or teacher) and at least one SS-E simulation station piloted by a student E, and the priority levels associates define a mode of operation in which the master shows a sequence of operating gestures, the student tries to reproduce the sequence and the master corrects the student's sequence.
  • the processing module MT is also responsible for calculating a difference between the primary data representative of the states of the virtual tool R driven by a force feedback device and the primary data representative of the states of this same virtual tool R driven by another force feedback device. More specifically, the state of the tool is characterized with respect to the successive positions and orientations of each force feedback device DRE. Consequently, the difference is preferably the vector difference between the position vectors (or position / orientation defined by the primary data received) of pairs of force feedback devices DRE which act on the same virtual tool R.
  • the module of MT processing is also responsible for calculating secondary data representative of a force vector as a function of the calculated vector difference. For example, a couple is made up of a DRE-E1 or DRE-E2 force feedback device controlled by a student El or E2 and a DRE-M force feedback device controlled by a M teacher (or teacher).
  • each DRE force feedback device both in terms of position / orientation and in terms of the intensity of the force feedback that it exerts, is entirely defined by a so-called matrix. of transformation, known to the processing module MT and whose values are constituted in particular by the primary data supplied by the associated control module MC. Consequently, the secondary data actually represent what a person skilled in the art calls a force torsor representative of the difference between the transformation matrices of two force feedback devices.
  • the secondary data which represent this force torsor (or vector), are transmitted to at least one of the SS simulation stations (for example that of the pupil's SS-E) so that it adapts the force applied to their device DRE-E force feedback as a function of said secondary data.
  • the force variation depends on the position deviations (and if necessary orientation) of the virtual robot R teleoperated by the two force feedback devices DRE.
  • any difference in positioning / orientation of the virtual robot R teleoperated by one of the two force feedback devices DRE of the master M and of the student E can be detected and estimated by the processing module MT, then corrected at the level of the DRE-E force feedback device of pupil E after a transposition in the form of a force vector.
  • the master M can make his pupil E feel what he is doing using his force feedback device DRE and which is defined at all times by his state.
  • the student can not only be corrected, but also guided in his gestures.
  • the secondary data (representing the force vector) are transmitted, via the network N, to the control module MC of the student simulation server SM-E, which converts them into a force variation command which it addresses to its force feedback device DRE-E so that it adapts the force it applies.
  • the student acts on the force feedback device DRE-M of the master M, by means of the processing module MT, in particular so that said master physically feels via his feedback device d effort what his student feels.
  • the processing module MT of the simulation device DS can define several operating modes between clients belonging to the same session.
  • the force feedback device DRE In a so-called “independent” mode, the force feedback device DRE is authorized to remote-operate the virtual robot R independently of the actions exerted by the other force feedback devices of its session. In a so-called “send” mode, the force feedback device DRE is authorized to teleoperate the virtual robot R, and its operating parameters are transmitted to the other force feedback devices DRE of its session so that they apply them. In a so-called “listening” mode, the force feedback device DRE applies the operating parameters it receives without being able to remote-operate the virtual robot R independently.
  • the force feedback device DRE is authorized to remote-operate the virtual robot R, taking into account the adaptation commands which are transmitted to it by its control module MC and which have been developed from secondary data sent by the processing module MT.
  • the force feedback device DRE is prohibited from teleoperating the virtual robot R but is authorized to transmit its primary data (at least) and to force another force feedback device DRE, to its session, to remote-operate the virtual robot R taking into account the secondary data transmitted by the processing module MT and developed from the primary data transmitted and its own primary data.
  • the MT processing module is arranged so as to make available to the simulation stations SS of the same session a function for replaying an intervention sequence.
  • the processing module MT stores in a memory, for example that (MEM) containing the models, the operating parameters which define the successive states taken by the virtual robot R due to the actions carried out using the devices DRE force feedback from different SS simulation stations associated in the same session and involved in the same intervention sequence.
  • MEM memory, for example that
  • the speed of the replay is preferably adjustable.
  • the MT processing module can also be configured so as to allow the SS simulation stations to intervene at any time during a replay phase of an intervention sequence in order to continue the sequence using their device.
  • DRE force feedback This allows a student or a teacher to restart (or continue) part of a sequence, at the time of their choice, with their own DRE force feedback device.
  • the processing module MT when it receives a replay interruption order from a simulation station SM (authorized), it extracts from the memory MEM the operating parameters which define the state of the virtual robot R at l moment of the interruption. Then, it transmits these operating parameters at least to the MC control of the SS simulation station which requested the interruption (it can also transmit them to the other simulation stations of the session), so that it determines the positioning / orientation commands and / or the return commands of effort that match them. These commands are then transmitted to the associated DRE force feedback device so that it places itself in the corresponding state. Its user (E or M) can then actuate its control lever 1 and send commands and instructions to the processing module MT, with its control keys 4 and / or its keyboard and / or its voice synthesis means.
  • E or M can then actuate its control lever 1 and send commands and instructions to the processing module MT, with its control keys 4 and / or its keyboard and / or its voice synthesis means.
  • the operating parameters which define the new successive states of the virtual robot R are also recorded, with a view to possible replay.
  • the session continues with a new sequence in which the simulation stations S S can intervene at any time according to their respective priority levels (which have possibly been modified).
  • the simulation device DS and in particular its processing module MT, and the control module MC, equipping the simulation stations SS, can be produced in the form of electronic circuits, software (or computer) modules, or a combination of software modules and electronic circuits.
  • the invention also relates to a method dedicated to the real-time simulation of actions performed on at least one virtual object H by at least one virtual tool R teleoperated by at least two simulation stations SS each comprising a force feedback device DRE.
  • the main and optional functions and sub-functions provided by the steps of this process being substantially identical to those provided by the various means constituting the installation, only the steps implementing the main functions of the process according to the following will be summarized below: invention.
  • This method is characterized by the fact that it consists in determining primary data representative of the states of a virtual tool on which two force feedback devices act, then in determining secondary data representative of a vector (or torsor) force as a function of a difference between the primary data, and to transmit the determined secondary data to at least one of the simulation stations so that it adapts the force applied to its force feedback device as a function of these data secondary.
  • a simulation installation has been described in the form of a network supervised by a simulation server.
  • a reduced simulation installation in which the simulation server and one of the simulation stations are combined into a single system.

Landscapes

  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

The invention relates to a device (DS) for the real-time simulation of actions carried out on a virtual object by means of a virtual tool teleoperated by at least two simulation stations (SS-E, SS-M), each comprising a force feedback device (DRE-E, DRE-M). The inventive device (DS) comprises treatment means (MT) which receive primary data representing the states of a virtual tool (R) acted upon by two force feedback devices (DRE-E, DRE-M), and are then used to determine secondary data representing a force vector (or torsor) depending on a variation in the primary data received, and to transmit the determined secondary data to at least one of the simulation stations (SS-E, SS-M) in such a way that said station adapts the force applied to the force feedback device (DRE-E, DRE-M) thereof, according to the secondary data transmitted.

Description

SIMULATION EN TEMPS REEL D'ACTIONS EFFECTUEES SUR UN OBJET VIRTUEL PAR UN OUTIL VIRTUEL TÉLÉOPÉRÉ PAR DES DISPOSITIFS À RETOUR D'EFFORT CORRÉLÉSSIMULATION IN REAL TIME OF ACTIONS CARRIED OUT ON A VIRTUAL OBJECT BY A VIRTUAL TOOL REMOTE BY CORRELATED EFFORT RETURN DEVICES

L'invention concerne le domaine de la simulation, et plus particulièrement la simulation en temps réel d'interactions entre un objet virtuel et un outil (ou instrument) virtuel.The invention relates to the field of simulation, and more particularly the real-time simulation of interactions between a virtual object and a virtual tool (or instrument).

La simulation est une technique particulièrement utile pendant la phase de préparation d'une intervention (ou opération), en particulier lorsque les conditions d'intervention sont difficiles et/ou lorsque les interventions réelles sont rares et/ou dangereuses et/ou nécessitent plusieurs intervenants, éventuellement distants les uns des autres. C'est notamment le cas dans le domaine de la chirurgie où l'apprentissage des gestes opératoires revêt une importance considérable du fait des risques encourus par les patients. Mais, c'est également le cas dans d'autres domaines tels que la rééducation fonctionnelle ou la robotique sous-marine.Simulation is a particularly useful technique during the preparation phase of an intervention (or operation), in particular when the intervention conditions are difficult and / or when the actual interventions are rare and / or dangerous and / or require several participants. , possibly distant from each other. This is particularly the case in the field of surgery where learning surgical procedures is of considerable importance due to the risks run by patients. However, this is also the case in other fields such as functional rehabilitation or underwater robotics.

Afin de permettre de telles simulations, il a été proposé des installations comportant, d'une part, un serveur muni du modèle volumique (3D), et parfois dynamique et comportemental, d'au moins un objet virtuel et du modèle volumique et comportemental d'au moins un outil (ou instrument) virtuel d'intervention à degrés de liberté multiples, et d'autre part, une ou plusieurs stations couplées au serveur et équipées d'un dispositif à retour d'effort permettant de piloter à distance tout ou partie du ou des outils d'intervention virtuels. Chaque station comporte un afficheur, reconstruisant la scène, alimenté en temps réel, par le serveur, en données d'image définissant des séquences d'images virtuelles du ou des objets virtuels et du ou des outils virtuels téléopérés par le(s) dispositifs) à retour d'effort.In order to allow such simulations, installations have been proposed comprising, on the one hand, a server provided with the volume model (3D), and sometimes dynamic and behavioral, with at least one virtual object and with the volume and behavioral model d '' at least one virtual intervention tool (or instrument) with multiple degrees of freedom, and on the other hand, one or more stations coupled to the server and equipped with a force feedback device making it possible to remotely control all or part of the virtual intervention tool (s). Each station includes a display, reconstructing the scene, supplied in real time by the server, with image data defining sequences of virtual images of the virtual object (s) and of the virtual tool (s) teleoperated by the device (s)) force feedback.

Ce type d'installation permet donc à des personnes distantes d'agir simultanément sur un même outil d'intervention et par conséquent de coordonner leurs actions. Mais, ce type d'installation peut également servir dans le domaine de la formation (ou l'apprentissage). Dans ce cas, l'enseignant peut observer en temps réel, sur son afficheur, le résultat des actions entreprises par son (ses) élèves à l'aide de son (leur) dispositif à retour d'effort, et lui (leur) dispenser des conseils et/ou lui (leur) adresser des instructions ou des informations, via une interface homme/machine.This type of installation therefore allows distant people to act simultaneously on the same intervention tool and therefore to coordinate their actions. However, this type of installation can also be used in the field of training (or apprenticeship). In this case, the teacher can observe in real time, on his display, the result of the actions taken by his (his) students using his (their) force feedback device, and provide him (them) advice and / or send him (their) instructions or information, via a man / machine interface.

L'installation peut également permettre aux élèves de visualiser sur leurs afficheurs le résultat des actions entreprises par l'enseignant à l'aide de son dispositif à retour d'effort. Mais, un enseignant ne peut pas contraindre le dispositif à retour d'effort piloté par l'un de ses élèves à reproduire physiquement, en temps réel, les actions qu'il entreprend avec son propre dispositif à retour d'effort. En d'autres termes, la gestuelle d'un élève ne peut pas être physiquement corrigée, ce qui constitue un réel inconvénient.The installation can also allow students to view the results of actions taken by the teacher using their feedback device on their displays. However, a teacher cannot force the force feedback device piloted by one of his students to physically reproduce, in real time, the actions he undertakes with his own force feedback device. In other words, a student's gestures cannot be physically corrected, which is a real drawback.

L'invention a donc pour but de remédier à cet inconvénient.The invention therefore aims to remedy this drawback.

Elle propose à cet effet un dispositif dédié à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel téléopéré par au moins deux stations de simulation comprenant chacune un dispositif à retour d'effort.To this end, it offers a device dedicated to real-time simulation of actions performed on at least one virtual object by at least one virtual tool teleoperated by at least two simulation stations each comprising a force feedback device.

Ce dispositif se caractérise par le fait qu'il comprend des moyens de traitement chargés, lorsqu'ils reçoivent des données primaires représentatives des états d'un outil virtuel sur lequel agissent deux dispositifs à retour d'effort (par exemple ceux d'un maître et d'un élève), de déterminer des données secondaires représentatives d'un vecteur (ou torseur) force fonction d'un écart entre les données primaires reçues, et de transmettre les données secondaires déterminées à l'une au moins des stations de simulation (par exemple celle de l'élève) de sorte qu'elle adapte la force appliquée à son dispositif à retour d'effort en fonction des données secondaires transmises.This device is characterized by the fact that it includes processing means loaded, when they receive primary data representative of the states of a virtual tool on which two force feedback devices act (for example those of a master and a student), to determine secondary data representative of a vector (or torsor) force function of a difference between the primary data received, and to transmit the secondary data determined to at least one of the simulation stations (for example that of the student) so that it adapts the force applied to its force feedback device as a function of the secondary data transmitted.

Les données primaires sont avantageusement transmises par les stations de simulation qui les déterminent à l'aide de capteur(s). Par ailleurs, chaque état est préférentiellement représentatif de la position et de l' orientation du dispositif à retour d'effort correspondant. En outre, certaines données primaires peuvent être également représentatives d'informations complémentaires relatives à l'outil virtuel téléopéré, comme par exemple des coordonnées articulaires d'un bras articulé ou le degré d'ouverture d'une pince.The primary data are advantageously transmitted by the simulation stations which determine them using sensor (s). Furthermore, each state is preferably representative of the position and of the orientation of the corresponding force feedback device. In addition, certain primary data may also be representative of additional information relating to the virtual remote-controlled tool, such as for example the articular coordinates of an articulated arm or the degree of opening of a clamp.

Préférentiellement, ce qui différencie une station de simulation élève d'une station de simulation maître c'est le niveau de priorité auquel elle est associée. Un tel niveau de priorité peut par exemple définir une autorisation d' action sur un paramètre de réglage et/ou une autorisation d' action sur un autre dispositif à retour d' effort et/ou une autorisation de modification de la force appliquée à un autre dispositif à retour d'effort.Preferably, what differentiates a student simulation station from a master simulation station is the priority level with which it is associated. Such a priority level can for example define an action authorization on an adjustment parameter and / or an action authorization on another force feedback device and / or an authorization to modify the force applied to another. force feedback device.

Le dispositif de simulation selon l'invention peut comporter d'autres caractéristiques qui pourront être prises séparément ou en combinaison, et notamment:The simulation device according to the invention may include other characteristics which can be taken separately or in combination, and in particular:

* des moyens de traitement capables de définir des sessions associant chacune une station de simulation de type " maître" et au moins une station de simulation de type "élève",* processing means capable of defining sessions each associating a simulation station of the "master" type and at least one simulation station of the "student" type,

* des moyens de traitement capables de gérer en parallèle plusieurs sessions,* processing means capable of managing several sessions in parallel,

* des moyens de traitement capables d'associer une station de simulation maître à au moins deux sessions,* processing means capable of associating a master simulation station with at least two sessions,

* des moyens de traitement agencés de manière à ne transmettre les données secondaires représentatives des vecteurs (ou torseurs) force qu'aux stations de simulation élève, de sorte que le maître puisse corriger et/ou guider la gestuelle de ses élèves,* processing means arranged so as to transmit the secondary data representative of the force vectors (or torsors) only to student simulation stations, so that the teacher can correct and / or guide the gestures of his students,

* des moyens de traitement capables de stocker dans une mémoire les paramètres de fonctionnement qui définissent les états successifs de l'outil virtuel du fait des actions effectuées à l'aide des dispositifs à retour d'effort dont les stations de simulation sont associées dans une même session et impliquées dans une même séquence d'intervention. Dans ce cas, les moyens de traitement sont préférentiellement chargés de transmettre à des stations de simulation maître et élève, qui sont associées dans une même session (et qui en font la demande), les paramètres de fonctionnement d'une séquence stockée, afin qu'elles puissent rediffuser simultanément cette séquence sur leurs afficheurs respectifs. Par ailleurs, les moyens de traitement peuvent être agencés, lorsque l'un des deux dispositifs à retour d'effort fait l'objet d'une intervention pendant la visualisation d'une ancienne séquence, de manière à interrompre la transmission des paramètres de fonctionnement de cette ancienne séquence, puis à déterminer et transmettre les données secondaires correspondant à l'intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort concernés,* processing means capable of storing in a memory the operating parameters which define the successive states of the virtual tool due to the actions carried out using force feedback devices whose simulation stations are associated in a same session and involved in the same intervention sequence. In this case, the processing means are preferably responsible for transmitting to master and student simulation stations, which are associated in the same session (and which request it), the operating parameters of a stored sequence, so that they can replay this sequence simultaneously on their respective displays. Furthermore, the processing means can be arranged, when one of the two force feedback devices is the subject of an intervention during the viewing of an old sequence, so as to interrupt the transmission of the operating parameters. of this old sequence, then to determine and transmit the secondary data corresponding to the intervention, while proceeding to the recording of the operating parameters representative of the new states of the force feedback devices concerned,

* des moyens de traitement pouvant placer, sur ordre, les stations de simulation dans différents modes de fonctionnement, et notamment:* processing means that can place, on order, the simulation stations in different operating modes, and in particular:

- un mode dit "indépendant" dans lequel son dispositif à retour d'effort peut téléopérer l'outil indépendamment des actions exercées par les autres dispositifs à retour d'effort de sa session,- a so-called "independent" mode in which its force feedback device can teleoperate the tool independently of the actions exerted by the other force feedback devices of its session,

- un mode dit "d'envoi" dans lequel son dispositif à retour d'effort est autorisé à téléopérer l'outil et ses paramètres de fonctionnement sont transmis aux autres dispositifs à retour d'effort de sa session afin qu'ils les appliquent,- a so-called "sending" mode in which its force feedback device is authorized to remote operate the tool and its operating parameters are transmitted to the other force feedback devices of its session so that they apply them,

- un mode dit "d'écoute" dans lequel son dispositif à retour d'effort applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer indépendamment l'outil,- a so-called "listening" mode in which its force feedback device applies the operating parameters it receives without being able to independently operate the tool,

- un mode dit "guidé" dans lequel son dispositif à retour d'effort peut téléopérer l'outil en tenant compte des données secondaires qu'il reçoit, et- a so-called "guided" mode in which its force feedback device can remote operate the tool, taking into account the secondary data it receives, and

- un mode dit "guide" dans lequel son dispositif à retour d'effort ne peut pas téléopérer l'outil mais transmet ses données primaires et contraint un autre dispositif à retour d'effort, de sa session, à téléopérer l'outil compte tenu de données secondaires élaborées à partir des données primaires transmises et de ses propres données primaires.- a so-called "guide" mode in which its force feedback device cannot teleoperate the tool but transmits its primary data and forces another force feedback device, from its session, to teleoperate the tool taking into account secondary data developed from the transmitted primary data and its own primary data.

L'invention concerne en outre une station de simulation destinée à faire partie d'une installation de simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel. Cette station de simulation comprend un dispositif à retour d'effort permettant de contrôler à distance le fonctionnement d'une partie au moins de l'outil virtuel en fonction de son état, et muni d'au moins un capteur, délivrant des données représentatives de l'état de ce dispositif, à partir desquelles sont déterminées des données primaires représentatives de l'état de l'outil virtuel sur lequel agit au moins le dispositif à retour d'effort, et de moyens de contrôle alimentés en données primaires et en données secondaires par un dispositif de simulation du type de celui présenté ci-avant, et chargés d'adapter la force appliquée au dispositif à retour d'effort en fonction des données primaires et secondaires reçues.The invention further relates to a simulation station intended to be part of an installation for real-time simulation of actions carried out on at least one virtual object by at least one virtual tool. This simulation station includes a force feedback device making it possible to remotely control the operation of at least part of the virtual tool as a function of its state, and provided with at least one sensor, delivering data representative of the state of this device, from which primary data representative of the state of the virtual tool on which at least the force feedback device acts, and of control means supplied with primary data and data are determined secondary by a simulation device of the type presented above, and responsible for adapting the force applied to the force feedback device as a function of the primary and secondary data received.

L'invention concerne également une installation dédiée à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel téléopéré par au moins deux stations de simulation du type de celle présentée ci-avant, et comprenant un serveur équipé d'un dispositif de simulation du type de celui présenté ci-avant. Une telle installation peut par exemple définir une architecture d' agent ouverte (ou OAA pour "Open Agent Architecture") .The invention also relates to an installation dedicated to the real-time simulation of actions performed on at least one virtual object by at least one virtual tool teleoperated by at least two simulation stations of the type presented above, and comprising a server equipped with a simulation device of the type presented above. Such an installation can for example define an open agent architecture (or OAA for "Open Agent Architecture").

L'invention concerne également un procédé dédié à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel téléopéré par au moins deux stations de simulation du type de celle présentée ci-avant.The invention also relates to a method dedicated to the real-time simulation of actions performed on at least one virtual object by at least one virtual tool teleoperated by at least two simulation stations of the type presented above.

Ce procédé consiste à déterminer des données primaires représentatives des états d'un outil virtuel sur lequel agissent deux dispositifs à retour d'effort, puis à déterminer des données secondaires représentatives d'un vecteur (ou torseur) force fonction d'un écart entre les données primaires, et à transmettre les données secondaires déterminées à l'une au moins des stations de simulation de sorte qu' elle adapte la force appliquée à son dispositif à retour d'effort en fonction de ces données secondaires.This method consists in determining primary data representative of the states of a virtual tool on which two force feedback devices act, then in determining secondary data representative of a force vector (or torsor) as a function of a difference between the primary data, and to transmit the determined secondary data to at least one of the simulation stations so that it adapts the force applied to its force feedback device as a function of these secondary data.

Le procédé selon l'invention peut comporter d'autres caractéristiques qui pourront être prises séparément ou en combinaison, et notamment:The method according to the invention may include other characteristics which can be taken separately or in combination, and in particular:

* des données primaires préférentiellement déterminées au niveau des stations de simulation, * des états représentatifs au moins de la position et de l'orientation du dispositif à retour d'effort correspondant,* primary data preferably determined at the level of the simulation stations, * at least representative states of the position and orientation of the corresponding force feedback device,

*des données primaires représentatives d'informations complémentaires relatives à l'outil virtuel,* primary data representative of additional information relating to the virtual tool,

* on peut définir des sessions associant chacune une station de simulation maître et au moins une station de simulation élève, plusieurs sessions pouvant être gérées en parallèle, et une station de simulation maître pouvant être associée à au moins deux sessions,* sessions can be defined, each associating a master simulation station and at least one student simulation station, several sessions that can be managed in parallel, and a master simulation station that can be associated with at least two sessions,

* on peut transmettre les données secondaires au moins à la station de simulation élève,* secondary data can be transmitted at least to the student simulation station,

* on peut stocker dans une mémoire les paramètres de fonctionnement représentatifs des états successifs de l'outil virtuel du fait des actions effectuées à l'aide des différents dispositifs à retour d'effort dont les stations de simulation sont associées dans une même session et impliquées dans une même séquence. Dans ce cas, on peut transmettre à des stations de simulation maître et élève, associées dans une même session, les paramètres de fonctionnement d'une séquence stockée, afin qu' elles rediffusent simultanément la séquence sur leurs afficheurs respectifs. Par ailleurs, lorsqu'un dispositif à retour d'effort fait l'objet d'une intervention pendant la rediffusion d'une ancienne séquence, on peut interrompre la transmission des paramètres de fonctionnement de cette ancienne séquence, puis déterminer et transmettre des données secondaires correspondant à l'intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort concernés,* one can store in a memory the operating parameters representative of the successive states of the virtual tool due to the actions carried out using the various force feedback devices whose simulation stations are associated in the same session and involved in the same sequence. In this case, the operating parameters of a stored sequence can be transmitted to master and student simulation stations, associated in the same session, so that they simultaneously rebroadcast the sequence on their respective displays. Furthermore, when a force feedback device is the subject of an intervention during the replay of an old sequence, it is possible to interrupt the transmission of the operating parameters of this old sequence, then determine and transmit secondary data. corresponding to the intervention, while recording the operating parameters representative of the new states of the force feedback devices concerned,

* on peut placer les stations de simulation dans l'un des modes de fonctionnement présentés ci-avant.* the simulation stations can be placed in one of the operating modes presented above.

L'invention trouve une application particulièrement intéressante, bien que non exclusive, dans le domaine de la simulation d'interventions chirurgicales sur des objets virtuels, par exemple lorsque ces objets représentent des organes, éventuellement déformables. D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés, sur lesquels : -la figure 1 illustre de façon schématique un exemple de réalisation d'une installation selon l'invention, en réseau, et -la figure 2 illustre schématiquement une station de simulation sur l'écran de laquelle sont matérialisés le bras d'un robot virtuel d'intervention et un organe virtuel.The invention finds a particularly interesting, although not exclusive, application in the field of the simulation of surgical interventions on virtual objects, for example when these objects represent organs, possibly deformable. Other characteristics and advantages of the invention will appear on examining the detailed description below, and the appended drawings, in which: FIG. 1 schematically illustrates an embodiment of an installation according to invention, in a network, and FIG. 2 schematically illustrates a simulation station on the screen of which the arm of a virtual intervention robot and a virtual organ are materialized.

Les dessins annexés pourront non seulement servir à compléter l'invention, mais aussi contribuer à sa définition, le cas échéant.The accompanying drawings may not only serve to complete the invention, but also contribute to its definition, if necessary.

L'invention concerne la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil (ou instrument) virtuel au sein d'une installation de simulation. Dans ce qui suit, il sera fait référence à une installation de simulation adaptée à l'enseignement à distance dans laquelle l'outil virtuel est un robot. Mais, d'autres types d'outil (ou instrument) virtuel peuvent être envisagés, comme par exemple un instrument laparosco- pique non robotisé.The invention relates to real-time simulation of actions performed on at least one virtual object by at least one virtual tool (or instrument) within a simulation installation. In what follows, reference will be made to a simulation installation suitable for distance education in which the virtual tool is a robot. However, other types of virtual tool (or instrument) can be envisaged, such as, for example, a non-robotic laparoscopic instrument.

L'installation de simulation selon l'invention, illustrée à titre d'exemple non limitatif sur les figures 1 et 2, est adaptée à l'apprentissage de séquences d'actions permettant d'intervenir sur un objet virtuel H, de type organe déformable, à l'aide d'un robot virtuel R piloté par un dispositif à retour d'effort DRE.The simulation installation according to the invention, illustrated by way of nonlimiting example in FIGS. 1 and 2, is suitable for learning action sequences making it possible to intervene on a virtual object H, of the deformable organ type. , using a virtual robot R controlled by a force feedback device DRE.

Plus précisément, dans 1 ' exemple illustré l' installation est agencée sous la forme d'un réseau N comportant un serveur S auxquels sont raccordées plusieurs stations de simulation S S (ici trois)L'installation définit par exemple une architecture d'agent ouverte (ou OAA pourMore precisely, in the example illustrated, the installation is arranged in the form of a network N comprising a server S to which several simulation stations SS are connected (here three) The installation defines for example an open agent architecture ( or OAA for

"Open Agent Architecture"). Par ailleurs, le serveur S est équipé d'un dispositif de simulation DS, selon l'invention, sur lequel on reviendra plus loin."Open Agent Architecture"). Furthermore, the server S is equipped with a DS simulation device according to the invention, to which we will return later.

Chaque station de simulation S S est couplée à une interface homme/machine et à un dispositif à retour d'effort DRE comportant au moins un levier de pilotage 1 (ici de typeEach simulation station S S is coupled to a man / machine interface and to a force feedback device DRE comprising at least one control lever 1 (here of the type

"joystick"), destiné à piloter l'un au moins des bras manipulateurs 2, 3 du robot virtuel R. L'interface homme/machine peut prendre n'importe quelle forme. Il peut s'agir d'un clavier de commande et/ou d'une ou plusieurs touches 4 de commande (de type sensitif, ou bouton-poussoir, ou encore "souris", y compris une souris 3D (ou "space mouse")). On peut également utiliser des tablettes graphiques, par exemple de type WACOM, et/ou des stylos électroniques de commande, et/ou des moyens permettant d'adresser des commandes vocales."joystick"), intended to control at least one of the manipulator arms 2, 3 of the virtual robot R. The man / machine interface can take any form. It can be a keyboard control and / or one or more control keys 4 (sensitive type, or push button, or "mouse", including a 3D mouse (or "space mouse")). Graphic tablets, for example of the WACOM type, and / or electronic control pens, and / or means making it possible to address voice commands can also be used.

Dans cet exemple, on a dissocié la station de simulation SS du dispositif à retour d'effort DRE, mais, ils peuvent être intégrés dans une console en regard de laquelle est installée une chaise 5 sur laquelle peut s'installer un utilisateur.In this example, the simulation station SS has been dissociated from the force feedback device DRE, but, they can be integrated into a console opposite which is installed a chair 5 on which a user can be installed.

Tout type de dispositif à retour d'effort peut être envisagé, et notamment un pantascope, un dispositif de type Immersion (ou "Impulse engine"), un bras de type PHANToM fabriqué par la société Sensable Technologies (décrit par exemple à l'adresse internet "http://www.sensable.com/products/phantom_ghost/phantom.asp"), un bras de type DELTA fabriqué par la société Force Dimension (décrit par exemple à l'adresse internet "http://www.forcedimension.com/products/index.html"),ou un bras de type Freedom 6S fabriqué par la société MPB Technologies (décrit par exemple à l'adresse internet "http://www.mpb-teclmologies.ca/space/freedom6_^2000/fés/freedom6s.html"), ou encore d'une interface de laparoscopie virtuelle à retour d' effort bras de type PHANToM fabriqué par la société Immersion (décrite par exemple à l'adresse internet "http://www.immersion-Any type of force feedback device can be envisaged, and in particular a pantascope, an immersion type device (or "Impulse engine"), a PHANToM type arm manufactured by the company Sensable Technologies (described for example at the address internet "http://www.sensable.com/products/phantom_ghost/phantom.asp"), a DELTA type arm manufactured by the company Force Dimension (described for example at the internet address "http: //www.forcedimension .com / products / index.html "), or an Freedom 6S type arm manufactured by the company MPB Technologies (described for example at the internet address" http://www.mpb-teclmologies.ca/space/freedom6_ ^ 2000 / fés / freedom6s.html "), or a virtual laparoscopy interface with force feedback of PHANToM type manufactured by the company Immersion (described for example at the internet address" http: //www.immersion -

.com/products/medical/laparoscopy_hardware.html"). D'une manière générale, le dispositif à retour d'effort est un système haptique..com / products / medical / laparoscopy_hardware.html "). Generally speaking, the force feedback device is a haptic system.

Chaque dispositif à retour d'effort DRE est équipé d'au moins un capteur Cl capable de déterminer à chaque instant son vecteur de position (qui définit sa position et son orientation). Plus précisément, chaque capteur Cl délivre des données primaires représentatives du vecteur de position du dispositif à retour d'effort DRE par rapport au référentiel de l'outil virtuel R. Ces données primaires définissent l'état de l'outil virtuel R sur lequel agit le dispositif à retour d'effort DRE. Elles peuvent être complétées par des informations complémentaires (ou auxiliaires) relatives à l'outil virtuel téléopéré R, comme par exemple des coordonnées articulaires d'un bras articulé ou le degré d'ouverture d'une pince. Chaque station de simulation SS comporte également un écran SC permettant d'afficher des séquences d'images virtuelles (ou de synthèse) de la zone d'intervention, et notamment de l'organe virtuel H, objet de l'intervention, et des bras 2 et 3 du robot virtuel R. L'écran SC peut également permettre d'afficher des informations relatives, par exemple, à l'interven- tion.Each force feedback device DRE is equipped with at least one sensor C1 capable of determining at all times its position vector (which defines its position and its orientation). More precisely, each sensor C1 delivers primary data representative of the position vector of the force feedback device DRE with respect to the reference frame of the virtual tool R. These primary data define the state of the virtual tool R on which acts the DRE force feedback device. They can be supplemented by additional (or auxiliary) information relating to the virtual remote-controlled tool R, such as for example the articular coordinates of an articulated arm or the degree of opening of a clamp. Each simulation station SS also includes a screen SC making it possible to display sequences of virtual images (or of synthesis) of the intervention zone, and in particular of the virtual organ H, object of the intervention, and of the arms 2 and 3 of the virtual robot R. The SC screen can also be used to display information relating, for example, to the intervention.

Enfin, chaque station de simulation SS est équipée d'un module de contrôle MC couplé au dispositif à retour d'effort DRE. Ce module de contrôle MC reçoit du capteur Cl les données primaires représentatives du vecteur de position (ou état) du dispositif à retour d' effort DRE associé, et par conséquent de l' état de l' outil virtuel R. Il reçoit également les commandes et instructions de pilotage fournies par l'utilisateur, par exemple à l'aide du clavier et des touches 4. Comme on le verra plus loin, il peut adresser des commandes destinées à adapter la force appliquée au dispositif à retour d'effort DRE associé.Finally, each SS simulation station is equipped with an MC control module coupled to the DRE force feedback device. This control module MC receives from the sensor C1 the primary data representative of the position vector (or state) of the associated force feedback device DRE, and consequently of the state of the virtual tool R. It also receives the commands and piloting instructions provided by the user, for example using the keyboard and the keys 4. As will be seen below, he can send commands intended to adapt the force applied to the associated force feedback device DRE .

Les séquences d'images virtuelles affichées sur les écrans SC sont transmises aux différentes stations de simulation S S par le serveur S. Plus précisément, ces images virtuelles sont construites à partir de données d'image numériques délivrées par le dispositif de simulation DS, selon l'invention.The virtual image sequences displayed on the screens SC are transmitted to the various simulation stations SS by the server S. More specifically, these virtual images are constructed from digital image data delivered by the simulation device DS, according to the 'invention.

Ces données d'image sont élaborées à partir du modèle volumique (3D), et éventuellement du modèle dynamique et/ou comportemental, de l'organe virtuel, et du modèle volumique et comportemental du robot virtuel R à degrés de liberté multiples, ainsi que des données primaires, données auxiliaires et commandes et instructions de pilotage qui lui sont transmises, via le réseau N, par les différents modules de contrôle MC.These image data are developed from the volume model (3D), and possibly from the dynamic and / or behavioral model, from the virtual organ, and from the volume and behavior model of the virtual robot R with multiple degrees of freedom, as well as primary data, auxiliary data and control commands and instructions which are transmitted to it, via the network N, by the various control modules MC.

Les modèles sont préférentiellement stockés dans une mémoire MEM du dispositif de simulation DS. Tout type de modèle peut être envisagé, qu'il soit statique ou dynamique, et tout type de traitement d'image peut être envisagé, qu'il intègre ou non des modèles de déformation, ou de découpe, ou encore de texture, de l'organe virtuel.The models are preferably stored in a memory MEM of the simulation device DS. Any type of model can be considered, whether static or dynamic, and any type of image processing can be envisaged, whether or not it incorporates deformation, or cutting, or texture, l 'virtual organ.

Lorsque l'installation présente une architecture de type OAA, le dispositif de simulation DS est classiquement capable de délivrer à chaque station de simulation S S les séquences d'images virtuelles (ou de synthèse) qui correspondent à l'interaction entre une instance (ou copie) de l'objet virtuel H et une instance (ou copie) du robot virtuel R piloté par le dispositif à retour d'effort DRE associé à ladite station de simulation SS. Ainsi, chaque utilisateur peut observer sur l'écran SC de sa propre station de simulation SS l'état du robot virtuel R qui correspond à l'état de son propre dispositif à retour d'effort DRE.When the installation has an OAA type architecture, the DS simulation device is conventionally capable of delivering the sequences to each SS simulation station. virtual (or synthetic) images which correspond to the interaction between an instance (or copy) of the virtual object H and an instance (or copy) of the virtual robot R controlled by the associated force feedback device DRE at said SS simulation station. Thus, each user can observe on the screen SC of his own simulation station SS the state of the virtual robot R which corresponds to the state of his own force feedback device DRE.

Le dispositif de simulation DS comporte un module de traitement MT chargé, tout d'abord, d'établir des sessions, indépendantes les unes des autres, et regroupant chacune au moins deux stations de simulation SS. Une session correspond à un "état" commun à plusieurs clients (ou utilisateurs). Le lien entre un client et une session est établi par le serveur S et peut être modifié à chaque instant. Au sein d'une session, les différents clients partagent plusieurs paramètres, et notamment la scène, qui est la représentation virtuelle de la zone d'observation, l'objet virtuel commun, qui fait l'objet de l'intervention, les éventuels obstacles et le robot virtuel R.The simulation device DS comprises a processing module MT responsible, first of all, for establishing sessions, independent of each other, and each grouping together at least two simulation stations SS. A session corresponds to a "state" common to several clients (or users). The link between a client and a session is established by the S server and can be modified at any time. Within a session, the different customers share several parameters, and in particular the scene, which is the virtual representation of the observation area, the common virtual object, which is the subject of the intervention, any obstacles and the virtual robot R.

Certains paramètres sont en revanche modifiables par chaque client, comme par exemple la position/orientation des outils virtuels placés aux extrémités des bras 2 et 3 du robot R. A chaque client est associé un niveau de priorité qui définit les paramètres qu'il est autorisé à modifier et par conséquent ce que sa station de simulation S S est autorisée à faire. Par exemple, un niveau de priorité définit l'autorisation d'action sur un paramètre de réglage de l'installation, et/ou l'autorisation d'action sur le dispositif à retour d'effort DRE d'une autre station de simulation SS, et/ou l'autorisation de modifier la force appliquée à un dispositif à retour d'effort DRE d'une autre station de simulation SS.Certain parameters can however be modified by each customer, such as for example the position / orientation of the virtual tools placed at the ends of arms 2 and 3 of the robot R. Each customer is associated with a priority level which defines the parameters that it is authorized to modify and therefore what his simulation station SS is authorized to do. For example, a priority level defines the action authorization on an installation adjustment parameter, and / or the action authorization on the force feedback device DRE of another simulation station SS , and / or the authorization to modify the force applied to a force feedback device DRE from another simulation station SS.

Un niveau de priorité définit donc un mode de fonctionnement régissant la relation du client concerné avec les clients qui appartiennent à la même session et qui pilotent un même robot virtuel R.A priority level therefore defines a mode of operation governing the relationship of the client concerned with clients who belong to the same session and who control the same virtual robot R.

Par exemple, dans le cas de l'apprentissage, une session regroupe une station de simulation SS-M pilotée par un maître (ou enseignant) et au moins une station de simulation SS-E pilotée par un élève E, et les niveaux de priorité associés définissent un mode de fonctionnement dans lequel le maître montre une séquence de gestes opératoires, l'élève tente de reproduire la séquence et le maître corrige la séquence de l'élève.For example, in the case of learning, a session includes an SS-M simulation station piloted by a teacher (or teacher) and at least one SS-E simulation station piloted by a student E, and the priority levels associates define a mode of operation in which the master shows a sequence of operating gestures, the student tries to reproduce the sequence and the master corrects the student's sequence.

Il est important de noter qu'une même station de simulation maître SS-M peut être associée à plusieurs sessions différentes.It is important to note that the same master simulation station SS-M can be associated with several different sessions.

Le module de traitement MT est en outre chargé de calculer un écart entre les données primaires représentatives des états de l'outil virtuel R piloté par un dispositif à retour d'effort et les données primaires représentatives des états de ce même outil virtuel R piloté par un autre dispositif à retour d'effort. Plus précisément, l'état de l'outil est caractérisé par rapport aux positions et orientations successives de chaque dispositif à retour d' effort DRE. Par conséquent, l'écart est préférentiellement la différence vectorielle entre les vecteurs de position (ou position/orientation définies par les données primaires reçues) de couples de dispositifs à retour d'effort DRE qui agissent sur un même outil virtuel R. Le module de traitement MT est également chargé de calculer des données secondaires représentatives d'un vecteur force fonction de la différence vectorielle calculée. Par exemple un couple est constitué d'un dispositif à retour d'effort DRE-E1 ou DRE-E2 piloté par un élève El ou E2 et un dispositif à retour d'effort DRE-M piloté par un maître M (ou enseignant).The processing module MT is also responsible for calculating a difference between the primary data representative of the states of the virtual tool R driven by a force feedback device and the primary data representative of the states of this same virtual tool R driven by another force feedback device. More specifically, the state of the tool is characterized with respect to the successive positions and orientations of each force feedback device DRE. Consequently, the difference is preferably the vector difference between the position vectors (or position / orientation defined by the primary data received) of pairs of force feedback devices DRE which act on the same virtual tool R. The module of MT processing is also responsible for calculating secondary data representative of a force vector as a function of the calculated vector difference. For example, a couple is made up of a DRE-E1 or DRE-E2 force feedback device controlled by a student El or E2 and a DRE-M force feedback device controlled by a M teacher (or teacher).

En fait, l'état de chaque dispositif à retour d'effort DRE, tant sur le plan de la position/orientation que sur le plan de l'intensité du retour d'effort qu'il exerce, est entièrement défini par une matrice dite de transformation, connue du module de traitement MT et dont les valeurs sont constituées notamment par les données primaires fournies par le module de contrôle MC associé. Par conséquent, les données secondaires représentent en réalité ce que l'homme de l'art appelle un torseur force représentatif de la différence entre les matrices de transformation de deux dispositifs à retour d'effort.In fact, the state of each DRE force feedback device, both in terms of position / orientation and in terms of the intensity of the force feedback that it exerts, is entirely defined by a so-called matrix. of transformation, known to the processing module MT and whose values are constituted in particular by the primary data supplied by the associated control module MC. Consequently, the secondary data actually represent what a person skilled in the art calls a force torsor representative of the difference between the transformation matrices of two force feedback devices.

Les données secondaires, qui représentent ce torseur (ou vecteur) force, sont transmises à l'une au moins des stations de simulation SS (par exemple celle SS-E de l'élève) afin qu'elle adapte la force appliquée à son dispositif à retour d'effort DRE-E en fonction desdites données secondaires. La variation de force dépend des écarts de position (et si besoin d'orientation) du robot virtuel R téléopéré par les deux dispositifs à retour d'effort DRE. Ainsi, toute différence de positionnement/orientation du robot virtuel R téléopéré par l'un des deux dispositifs à retour d'effort DRE du maître M et de l'élève E, peut être détectée et estimée par le module de traitement MT, puis corrigée au niveau du dispositif à retour d'effort DRE-E de l'élève E après une transposition sous la forme d'un vecteur force. En d'autres termes, le maître M peut faire ressentir à son élève E ce qu'il fait à l'aide de son dispositif à retour d'effort DRE et qui est défini à chaque instant par son état.The secondary data, which represent this force torsor (or vector), are transmitted to at least one of the SS simulation stations (for example that of the pupil's SS-E) so that it adapts the force applied to their device DRE-E force feedback as a function of said secondary data. The force variation depends on the position deviations (and if necessary orientation) of the virtual robot R teleoperated by the two force feedback devices DRE. Thus, any difference in positioning / orientation of the virtual robot R teleoperated by one of the two force feedback devices DRE of the master M and of the student E, can be detected and estimated by the processing module MT, then corrected at the level of the DRE-E force feedback device of pupil E after a transposition in the form of a force vector. In other words, the master M can make his pupil E feel what he is doing using his force feedback device DRE and which is defined at all times by his state.

L'élève peut ainsi être non seulement corrigé, mais également guidé dans sa gestuelle.The student can not only be corrected, but also guided in his gestures.

De façon plus détaillée, les données secondaires (représentant le vecteur force) sont transmises, via le réseau N, au module de contrôle MC du serveur de simulation élève SM- E, lequel les convertit en commande de variation de force qu'il adresse à son dispositif à retour d'effort DRE-E de sorte qu'il adapte la force qu'il applique.In more detail, the secondary data (representing the force vector) are transmitted, via the network N, to the control module MC of the student simulation server SM-E, which converts them into a force variation command which it addresses to its force feedback device DRE-E so that it adapts the force it applies.

Bien entendu, on pourrait également envisager que l'élève agisse sur le dispositif à retour d'effort DRE-M du maître M, par l'intermédiaire du module de traitement MT, notamment pour que ledit maître ressente physiquement via son dispositif à retour d'effort ce que ressent son élève.Of course, it could also be envisaged that the student acts on the force feedback device DRE-M of the master M, by means of the processing module MT, in particular so that said master physically feels via his feedback device d effort what his student feels.

Grâce à cette nouvelle fonctionnalité qu'autorise l'invention, le module de traitement MT du dispositif de simulation DS peut définir plusieurs modes de fonctionnement entre des clients appartenant à une même session.Thanks to this new functionality which the invention allows, the processing module MT of the simulation device DS can define several operating modes between clients belonging to the same session.

Dans un mode dit "indépendant" le dispositif à retour d' effort DRE est autorisé à téléopérer le robot virtuel R indépendamment des actions exercées par les autres dispositifs à retour d'effort de sa session. Dans un mode dit "d'envoi", le dispositif à retour d'effort DRE est autorisé à téléopérer le robot virtuel R, et ses paramètres de fonctionnement sont transmis aux autres dispositifs à retour d'effort DRE de sa session afin qu'ils les appliquent. Dans un mode dit "d'écoute", le dispositif à retour d'effort DRE applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer le robot virtuel R indépendamment. Dans un mode dit "guidé", le dispositif à retour d'effort DRE est autorisé à téléopérer le robot virtuel R en tenant compte des commandes d'adaptation qui lui sont transmises par son module de contrôle MC et qui ont été élaborées à partir des données secondaires adressées par le module de traitement MT. Dans un mode dit "guide", le dispositif à retour d'effort DRE est interdit de téléopérer le robot virtuel R mais est autorisé à transmettre ses données primaires (au moins) et à contraindre un autre dispositif à retour d'effort DRE, de sa session, à téléopérer le robot virtuel R compte tenu des données secondaires transmises par le module de traitement MT et élaborées à partir des données primaires transmises et de ses propres données primaires.In a so-called "independent" mode, the force feedback device DRE is authorized to remote-operate the virtual robot R independently of the actions exerted by the other force feedback devices of its session. In a so-called "send" mode, the force feedback device DRE is authorized to teleoperate the virtual robot R, and its operating parameters are transmitted to the other force feedback devices DRE of its session so that they apply them. In a so-called "listening" mode, the force feedback device DRE applies the operating parameters it receives without being able to remote-operate the virtual robot R independently. In a so-called "guided" mode, the force feedback device DRE is authorized to remote-operate the virtual robot R, taking into account the adaptation commands which are transmitted to it by its control module MC and which have been developed from secondary data sent by the processing module MT. In a so-called "guide" mode, the force feedback device DRE is prohibited from teleoperating the virtual robot R but is authorized to transmit its primary data (at least) and to force another force feedback device DRE, to its session, to remote-operate the virtual robot R taking into account the secondary data transmitted by the processing module MT and developed from the primary data transmitted and its own primary data.

Préférentiellement, le module de traitement MT est agencé de manière à mettre à la disposition des stations de simulation SS d'une même session une fonction de rediffusion d'une séquence d'intervention.Preferably, the MT processing module is arranged so as to make available to the simulation stations SS of the same session a function for replaying an intervention sequence.

A cet effet, le module de traitement MT stocke dans une mémoire, par exemple celle (MEM) contenant les modèles, les paramètres de fonctionnement qui définissent les états successifs pris par le robot virtuel R du fait des actions effectuées à l'aide des dispositifs à retour d'effort DRE des différentes stations de simulation SS associées dans une même session et impliquées dans une même séquence d'intervention.To this end, the processing module MT stores in a memory, for example that (MEM) containing the models, the operating parameters which define the successive states taken by the virtual robot R due to the actions carried out using the devices DRE force feedback from different SS simulation stations associated in the same session and involved in the same intervention sequence.

Les utilisateurs (maître et élève(s)) peuvent ainsi visualiser l'intégralité d'une séquence à laquelle ils ont participé. La vitesse de la rediffusion est préférentiellement réglable.Users (teacher and student (s)) can thus view the entire sequence in which they have participated. The speed of the replay is preferably adjustable.

Mais, le module de traitement MT peut également être configuré de manière à permettre aux stations de simulation SS d'intervenir à tout moment pendant une phase de rediffusion d'une séquence d'intervention afin de poursuivre la séquence à l'aide de leur dispositif à retour d'effort DRE. Cela permet à un élève ou à un maître de recommencer (ou poursuivre) une partie d'une séquence, à l'instant de son choix, avec son propre dispositif à retour d'effort DRE.However, the MT processing module can also be configured so as to allow the SS simulation stations to intervene at any time during a replay phase of an intervention sequence in order to continue the sequence using their device. DRE force feedback. This allows a student or a teacher to restart (or continue) part of a sequence, at the time of their choice, with their own DRE force feedback device.

Pour ce faire, lorsque le module de traitement MT reçoit un ordre d'interruption de rediffusion d'une station de simulation SM (autorisée), il extrait de la mémoire MEM les paramètres de fonctionnement qui définissent l'état du robot virtuel R à l'instant de l'interruption. Puis, il transmet ces paramètres de fonctionnement au moins au module de contrôle MC de la station de simulation SS qui a demandé l'interruption (il peut également les transmettre aux autres stations de simulation de la session), afin qu'il détermine les commandes de positionnement/orientation et/ou les commandes de retour d'effort qui leurs correspondent. Ces commandes sont alors transmises au dispositif à retour d'effort DRE associé afin qu'il se place dans l'état correspondant. Son utilisateur (E ou M) peut alors actionner son levier de pilotage 1 et adresser des commandes et instructions au module de traitement MT, avec ses touches de commande 4 et/ou son clavier et/ou ses moyens de synthèse vocale.To do this, when the processing module MT receives a replay interruption order from a simulation station SM (authorized), it extracts from the memory MEM the operating parameters which define the state of the virtual robot R at l moment of the interruption. Then, it transmits these operating parameters at least to the MC control of the SS simulation station which requested the interruption (it can also transmit them to the other simulation stations of the session), so that it determines the positioning / orientation commands and / or the return commands of effort that match them. These commands are then transmitted to the associated DRE force feedback device so that it places itself in the corresponding state. Its user (E or M) can then actuate its control lever 1 and send commands and instructions to the processing module MT, with its control keys 4 and / or its keyboard and / or its voice synthesis means.

Les paramètres de fonctionnement qui définissent les nouveaux états successifs du robot virtuel R sont également enregistrés, en vue d'une éventuelle rediffusion. En fait, la session se poursuit avec une nouvelle séquence dans laquelle les stations de simulation S S peuvent intervenir à tout moment selon leurs niveaux de priorité respectifs (lesquels ont éventuellement été modifiés).The operating parameters which define the new successive states of the virtual robot R are also recorded, with a view to possible replay. In fact, the session continues with a new sequence in which the simulation stations S S can intervene at any time according to their respective priority levels (which have possibly been modified).

Le dispositif de simulation DS, et notamment son module de traitement MT, et le module de contrôle MC, équipant les stations de simulation SS, peuvent être réalisés sous la forme de circuits électroniques, de modules logiciels (ou informatiques), ou d'une combinaison de modules logiciels et de circuits électroniques.The simulation device DS, and in particular its processing module MT, and the control module MC, equipping the simulation stations SS, can be produced in the form of electronic circuits, software (or computer) modules, or a combination of software modules and electronic circuits.

L'invention concerne également un procédé dédié à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel H par au moins un outil virtuel R téléopéré par au moins deux stations de simulation S S comprenant chacune un dispositif à retour d'effort DRE.The invention also relates to a method dedicated to the real-time simulation of actions performed on at least one virtual object H by at least one virtual tool R teleoperated by at least two simulation stations SS each comprising a force feedback device DRE.

Celui-ci peut être mis en œuvre à l'aide d'une installation de simulation du type de celle présentée ci-avant. Les fonctions et sous-fonctions principales et optionnelles assurées par les étapes de ce procédé étant sensiblement identiques à celles assurées par les différents moyens constituant l'installation, seules seront résumées ci-après les étapes mettant en œuvre les fonctions principales du procédé selon l'invention. Ce procédé se caractérise par le fait qu'il consiste à déterminer des données primaires représentatives des états d'un outil virtuel sur lequel agissent deux dispositifs à retour d'effort, puis à déterminer des données secondaires représentatives d'un vecteur (ou torseur) force fonction d'un écart entre les données primaires, et à transmettre les données secondaires déterminées à l'une au moins des stations de simulation de sorte qu' elle adapte la force appliquée à son dispositif à retour d'effort en fonction de ces données secondaires.This can be implemented using a simulation installation of the type presented above. The main and optional functions and sub-functions provided by the steps of this process being substantially identical to those provided by the various means constituting the installation, only the steps implementing the main functions of the process according to the following will be summarized below: invention. This method is characterized by the fact that it consists in determining primary data representative of the states of a virtual tool on which two force feedback devices act, then in determining secondary data representative of a vector (or torsor) force as a function of a difference between the primary data, and to transmit the determined secondary data to at least one of the simulation stations so that it adapts the force applied to its force feedback device as a function of these data secondary.

L'invention ne se limite pas aux modes de réalisation de dispositif de simulation, station de simulation, installation de simulation et procédé de simulation décrits ci-avant, seulement à titre d'exemple, mais elle englobe toutes les variantes que pourra envisager l'homme de l'art dans le cadre des revendications ci-après.The invention is not limited to the embodiments of simulation device, simulation station, simulation installation and simulation method described above, only by way of example, but it encompasses all the variants that the skilled in the art within the following claims.

Ainsi, on a décrit une installation de simulation agencée sous la forme d'un réseau supervisé par un serveur de simulation. Mais, on peut envisager une installation de simulation réduite dans laquelle le serveur de simulation et l'une des stations de simulation sont confondus en un unique système. Thus, a simulation installation has been described in the form of a network supervised by a simulation server. However, it is possible to envisage a reduced simulation installation in which the simulation server and one of the simulation stations are combined into a single system.

Claims

REVENDICATIONS 1. Dispositif (D) de simulation en temps réel d' actions effectuées sur au moins un objet virtuel (H) par au moins un outil virtuel (R) téléopéré par au moins deux stations de simulation (SS) comprenant chacune un dispositif à retour d'effort (DRE), caractérisé en ce qu'il comprend des moyens de traitement (MT) agencés, à réception de données primaires représentatives des états d'un outil virtuel (R) sur lequel agissent deux dispositifs à retour d'effort (DRE), pour déterminer des données secondaires représentatives d'un vecteur force fonction d'un écart entre lesdites données primaires, et pour transmettre lesdites données secondaires déterminées à l'une au moins desdites stations de simulation (SS) de sorte qu'elle adapte la force appliquée à son dispositif à retour d'effort (DRE) en fonction desdites données secondaires.1. Device (D) for real-time simulation of actions performed on at least one virtual object (H) by at least one virtual tool (R) teleoperated by at least two simulation stations (SS) each comprising a feedback device force (DRE), characterized in that it comprises processing means (MT) arranged, on receipt of primary data representative of the states of a virtual tool (R) on which two force feedback devices ( DRE), to determine secondary data representative of a force vector as a function of a difference between said primary data, and to transmit said determined secondary data to at least one of said simulation stations (SS) so that it adapts the force applied to its force feedback device (DRE) as a function of said secondary data. 2. Dispositif selon la revendication 1 , caractérisé en ce que lesdites données primaires sont transmises par lesdites stations de simulation.2. Device according to claim 1, characterized in that said primary data are transmitted by said simulation stations. 3. Dispositif selon l'une des revendications 1 et 2, caractérisé en ce que chaque état est représentatif au moins de la position et de l'orientation du dispositif à retour d' effort correspondant.3. Device according to one of claims 1 and 2, characterized in that each state is representative at least of the position and the orientation of the corresponding force feedback device. 4. Dispositif selon l'une des revendications 1 à 3, caractérisé en ce que certaines au moins desdits données primaires sont représentatives d'informations complémentaires relatives audit outil virtuel (R).4. Device according to one of claims 1 to 3, characterized in that at least some of said primary data are representative of additional information relating to said virtual tool (R). 5. Dispositif selon l'une des revendications 1 à 4, caractérisé en ce que lesdites stations de simulation (SS) étant de type " maître" ou "élève" et étant associées à des niveaux de priorité fonction de leur type, lesdits moyens de traitement (MT) sont agencés pour définir des sessions associant chacune une station de simulation (S S) de type " maître" (SS-M) et au moins une station de simulation de type "élève" (S S-5. Device according to one of claims 1 to 4, characterized in that said simulation stations (SS) being of the "master" or "pupil" type and being associated with priority levels depending on their type, said means for processing (MT) are arranged to define sessions each associating a simulation station (SS) of the "master" type (SS-M) and at least one simulation station of the "student" type (S S- E). E). 6. Dispositif selon la revendication 5 , caractérisé en ce qu'un niveau de priorité définit une autorisation d'action sur un paramètre de réglage et/ou une autorisation d'action sur un autre dispositif à retour d'effort (DRE) et/ou une autorisation de modification d'une force appliquée à un autre dispositif à retour d'effort (DRE).6. Device according to claim 5, characterized in that a priority level defines an action authorization on an adjustment parameter and / or an action authorization on another force feedback device (DRE) and / or an authorization to modify a force applied to another force feedback device (DRE). 7. Dispositif selon l'une des revendications 5 et 6, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour gérer en parallèle plusieurs sessions.7. Device according to one of claims 5 and 6, characterized in that said processing means (MT) are arranged to manage several sessions in parallel. 8. Dispositif selon la revendication 7, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour associer une station de simulation maître (SS-8. Device according to claim 7, characterized in that said processing means (MT) are arranged to associate a master simulation station (SS- M) à au moins deux sessions.M) at least two sessions. 9. Dispositif selon l'une des revendications 5 à 8, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour transmettre lesdites données secondaires au moins à ladite station de simulation élève (SS-E).9. Device according to one of claims 5 to 8, characterized in that said processing means (MT) are arranged to transmit said secondary data at least to said student simulation station (SS-E). 10. Dispositif selon l'une des revendications 5 à 9, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour stocker dans une mémoire (MEM) les paramètres de fonctionnement représentatifs des états successifs de l'outil virtuel (R) du fait des actions effectuées à l'aide des différents dispositifs à retour d'effort10. Device according to one of claims 5 to 9, characterized in that said processing means (MT) are arranged to store in a memory (MEM) the operating parameters representative of the successive states of the virtual tool (R) due to the actions carried out using the various force feedback devices (DRE) dont les stations de simulation (S S) sont associées dans une même session et impliquées dans une même séquence.(DRE) whose simulation stations (S S) are associated in the same session and involved in the same sequence. 11. Dispositif selon la revendication 10, caractérisé en ce que, lesdites stations de simulation comportant chacune un afficheur (SC), lesdits moyens de traitement11. Device according to claim 10, characterized in that, said simulation stations each comprising a display (SC), said processing means (MT) sont agencés pour transmettre à une station de simulation maître (SS-M) et à une station de simulation élève (SS-E) associées dans une même session les paramètres de fonctionnement d'une séquence stockée, de sorte qu'elles rediffusent simultanément ladite séquence sur leurs afficheurs (SC) respectifs.(MT) are arranged to transmit to a master simulation station (SS-M) and to a student simulation station (SS-E) associated in the same session the operating parameters of a stored sequence, so that they simultaneously re-broadcast said sequence on their respective displays (SC). 12. Dispositif selon la revendication 11, caractérisé en ce qu'en cas d'intervention sur un dispositif à retour d'effort (DRE) pendant une rediffusion de séquence, lesdits moyens de traitement (MT) sont agencés pour interrompre la transmission des paramètres de fonctionnement de ladite séquence, puis effectuer la détermination et la transmission des données secondaires correspondant à ladite intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort (DRE) concernés.12. Device according to claim 11, characterized in that in the event of intervention on a force feedback device (DRE) during a replay of the sequence, said processing means (MT) are arranged to interrupt the transmission of the operating parameters of said sequence, then carry out the determination and transmission of the secondary data corresponding to said intervention, while proceeding to the recording of the operating parameters representative of the new states of the force feedback devices (DRE) concerned. 13. Dispositif selon l'une des revendications 1 à 12, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour placer lesdites stations de simulation (S S) dans un mode de fonctionnement choisi parmi un groupe de modes de fonctionnement comprenant un premier mode dit "indépendant" dans lequel son dispositif à retour d'effort peut téléopérer ledit outil virtuel (R) indépendamment des actions exercées par les autres dispositifs à retour d'effort (DRE) de sa session, un deuxième mode dit "d'envoi" dans lequel son dispositif à retour d'effort (DRE) est autorisé à téléopérer ledit outil virtuel (R) et ses paramètres de fonctionnement correspondants sont transmis aux autres dispositifs à retour d'effort de sa session de sorte qu'ils les appliquent, un troisième mode dit "d'écoute" dans lequel son dispositif à retour d'effort (DRE) applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer indépendamment ledit outil virtuel (R), un quatrième mode dit "guidé" dans lequel son dispositif à retour d'effort (DRE) peut téléopérer ledit outil virtuel (R) en tenant compte desdites données secondaires qu'il reçoit, et un cinquième mode dit "guide" dans lequel son dispositif à retour d'effort ne peut pas téléopérer ledit outil virtuel (R) mais transmet des données primaires et contraint un autre dispositif à retour d'effort (DRE) de sa session à téléopérer ledit outil virtuel (R) compte tenu de données secondaires élaborées à partir desdites données primaires transmises et de ses propres données primaires. .13. Device according to one of claims 1 to 12, characterized in that said processing means (MT) are arranged to place said simulation stations (SS) in an operating mode chosen from a group of operating modes comprising a first so-called "independent" mode in which its force feedback device can teleoperate said virtual tool (R) independently of the actions exerted by the other force feedback devices (DRE) of its session, a second mode called "d ' send "in which its force feedback device (DRE) is authorized to remote operate said virtual tool (R) and its corresponding operating parameters are transmitted to the other force feedback devices of its session so that they apply them , a third so-called "listening" mode in which its force feedback device (DRE) applies the operating parameters it receives without being able to independently remote-operate said virtual tool (R ), a fourth mode called "guided" in which its force feedback device (DRE) can teleoperate said virtual tool (R) taking into account said secondary data that it receives, and a fifth mode called "guide" in which its force feedback device cannot teleoperate said virtual tool (R) but transmits primary data and forces another force feedback device (DRE) of its session to teleoperate said virtual tool (R) taking into account data secondary developed from said transmitted primary data and its own primary data. . 14. Station de simulation (SS) pour une installation de simulation en temps réel d'actions effectuées sur au moins un objet virtuel (H) par au moins un outil virtuel (R), comprenant un dispositif à retour d'effort (DRE) propre à contrôler à distance le fonctionnement d'une partie au moins dudit outil virtuel (R) en fonction de son état, et muni d'au moins un capteur (Cl) délivrant des données représentatives de l'état dudit dispositif (DRE), à partir desquelles sont déterminées des données primaires représentatives de l'état de l'outil virtuel (R) sur lequel agit au moins le dispositif à retour d'effort, caractérisé en ce qu'il comprend des moyens de contrôle (MC) alimentés en données primaires et en données secondaires par un dispositif de simulation (DS) selon l'une des revendications précédentes, et agencés pour adapter la force appliquée audit dispositif à retour d'effort (DRE) en fonction desdites données primaires et secondaires.14. Simulation station (SS) for a real-time simulation installation of actions performed on at least one virtual object (H) by at least one virtual tool (R), comprising a force feedback device (DRE) able to remotely control the operation of at least part of said virtual tool (R) as a function of its state, and provided with at least one sensor (Cl) delivering data representative of the state of said device (DRE), from which data is determined primaries representative of the state of the virtual tool (R) on which at least the force feedback device acts, characterized in that it comprises control means (MC) supplied with primary data and with secondary data by a simulation device (DS) according to one of the preceding claims, and arranged to adapt the force applied to said force feedback device (DRE) as a function of said primary and secondary data. 15. Installation de simulation en temps réel d'actions effectuées sur au moins un objet virtuel (H) par au moins un outil virtuel (R), caractérisée en ce qu'elle comprend au moins deux stations de simulation (S S) selon la revendication 14 couplées à un serveur (S) équipé d'un dispositif de simulation (DS) selon l'une des revendications 1 à 13.15. Installation for real-time simulation of actions performed on at least one virtual object (H) by at least one virtual tool (R), characterized in that it comprises at least two simulation stations (SS) according to claim 14 coupled to a server (S) equipped with a simulation device (DS) according to one of claims 1 to 13. 16. Procédé de simulation en temps réel d'actions entre au moins un objet virtuel (H) et au moins un outil virtuel (R) téléopéré par au moins deux stations de simulation16. Method for real time simulation of actions between at least one virtual object (H) and at least one virtual tool (R) teleoperated by at least two simulation stations (SS) comprenant chacune un dispositif à retour d'effort (DRE), caractérisé en ce qu'il consiste à déterminer des données primaires représentatives des états d'un outil virtuel (R) sur lequel agissent deux dispositifs à retour d'effort (DRE), puis à déterminer des données secondaires représentatives d'un vecteur force fonction d'un écart entre lesdites données primaires, et à transmettre lesdites données secondaires déterminées à l'une au moins desdites stations de simulation (SS) de sorte qu'elle adapte la force appliquée à son dispositif à retour d'effort (DRE) en fonction desdites données secondaires.(SS) each comprising a force feedback device (DRE), characterized in that it consists in determining primary data representative of the states of a virtual tool (R) on which two force feedback devices ( DRE), then in determining secondary data representative of a force vector as a function of a difference between said primary data, and in transmitting said determined secondary data to at least one of said simulation stations (SS) so that it adapts the force applied to its force feedback device (DRE) according to said secondary data. 17. Procédé selon la revendication 16, caractérisé en ce que lesdites données primaires sont déterminées au niveau desdites stations de simulation.17. The method of claim 16, characterized in that said primary data are determined at said simulation stations. 18. Procédé selon l'une des revendications 16 et 17, caractérisé en ce que chaque état est représentatif au moins de la position et de l'orientation du dispositif à retour d'effort correspondant. 18. Method according to one of claims 16 and 17, characterized in that each state is representative at least of the position and the orientation of the corresponding force feedback device. 19. Procédé selon l'une des revendications 16 à 18, caractérisé en ce que certaines au moins desdits données primaires sont représentatives d'informations complémentaires relatives audit outil virtuel (R).19. Method according to one of claims 16 to 18, characterized in that at least some of said primary data are representative of additional information relating to said virtual tool (R). 20. Procédé selon l'une des revendications 16 à 19, caractérisé en ce que l'on définit des sessions associant chacune une station de simulation de type "maître" (SS-M) et au moins une station de simulation (SS-E) de type "élève" (DRE-E), associées à des niveaux de priorité fonction de leur type.20. Method according to one of claims 16 to 19, characterized in that sessions are defined each associating a simulation station of the "master" type (SS-M) and at least one simulation station (SS-E ) of "pupil" type (DRE-E), associated with priority levels depending on their type. 21. Procédé selon la revendication 20, caractérisé en ce qu'un niveau de priorité définit une autorisation d'action sur un paramètre de réglage et/ou une autorisation d'action sur un autre dispositif à retour d'effort (DRE) et/ou une autorisation de modification d'une force appliquée à un autre dispositif à retour d'effort (DRE).21. The method as claimed in claim 20, characterized in that a priority level defines an action authorization on an adjustment parameter and / or an action authorization on another force feedback device (DRE) and / or an authorization to modify a force applied to another force feedback device (DRE). 22. Procédé selon l'une des revendications 20 et 21, caractérisé en ce que l'on gère en parallèle plusieurs sessions.22. Method according to one of claims 20 and 21, characterized in that several sessions are managed in parallel. 23. Procédé selon la revendication 22, caractérisé en ce que l' on associe une station de simulation (SS-M) à au moins deux sessions.23. The method of claim 22, characterized in that a simulation station (SS-M) is associated with at least two sessions. 24. Procédé selon l'une des revendications 20 à 23, caractérisé en ce que l'on transmet lesdites données secondaires au moins à ladite station de simulation élève (SS-E).24. Method according to one of claims 20 to 23, characterized in that said secondary data is transmitted at least to said student simulation station (SS-E). 25. Procédé selon l'une des revendications 20 à 24, caractérisé en ce que l'on stocke dans une mémoire (MEM) les paramètres de fonctionnement représentatifs des états successifs de l'outil virtuel (R) du fait des actions effectuées à l'aide des différents dispositifs à retour d'effort (DRE) dont les stations de simulation (SS) sont associées dans une même session et impliquées dans une même séquence.25. Method according to one of claims 20 to 24, characterized in that the operating parameters representative of the successive states of the virtual tool (R) are stored in a memory (MEM) due to the actions performed at the using the various force feedback devices (DRE) whose simulation stations (SS) are associated in the same session and involved in the same sequence. 26. Procédé selon la revendication 25, caractérisé en ce que, lesdits dispositifs à retour d'effort (DRE) étant chacun associé à un afficheur (SC), on transmet à une station de simulation maître (SS-M) et aune station de simulation élève (SS-E), associées dans une même session, les paramètres de fonctionnement d'une séquence stockée, de sorte qu'elles rediffusent simultanément ladite séquence sur leurs afficheurs (SC) respectifs.26. Method according to claim 25, characterized in that, said force feedback devices (DRE) being each associated with a display (SC), a master simulation station (SS-M) is transmitted to a student simulation (SS-E), associated in the same session, the operating parameters of a stored sequence, so that they simultaneously rebroadcast said sequence on their respective displays (SC). 27. Procédé selon la revendication 26, caractérisé en ce qu'en cas d'intervention sur un dispositif à retour d'effort (DRE) pendant une rediffusion de séquence, on interrompt la transmission des paramètres de fonctionnement de ladite séquence, puis on effectue la détermination et la transmission des données secondaires correspondant à ladite intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort (DRE) concernés.27. The method of claim 26, characterized in that in the event of intervention on a force feedback device (DRE) during a replay of a sequence, the transmission of the operating parameters of said sequence is interrupted, and then determining and transmitting the secondary data corresponding to said intervention, while recording the operating parameters representative of the new states of the force feedback devices (DRE) concerned. 28. Procédé selon l'une des revendications 16 à 27, caractérisé en ce que l'on place lesdites stations de simulation (SS) dans un mode de fonctionnement choisi parmi un groupe de modes de fonctionnement comprenant un premier mode dit "indépendant" dans lequel son dispositif à retour d'effort (DRE) peut téléopérer ledit outil virtuel (R) indépendamment des actions exercées par les autres dispositifs à retour d'effort de ladite session, un deuxième mode dit "d'envoi" dans lequel son dispositif à retour d'effort est autorisé à téléopérer ledit outil virtuel (R) et ses paramètres de fonctionnement correspondants sont transmis aux autres dispositifs à retour d' effort de ladite session de sorte qu'ils les appliquent, un troisième mode dit "d'écoute" dans lequel son dispositif à retour d'effort (DRE) applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer indépendamment ledit outil virtuel (R), un quatrième mode dit "guidé" dans lequel son dispositif à retour d'effort (DRE) peut téléopérer ledit outil virtuel (R) en tenant desdites données secondaires qu'il reçoit, et un cinquième mode dit "guide" dans lequel son dispositif à retour d'effort (DRE) ne peut pas téléopérer ledit outil virtuel (R) mais transmet des données primaires et contraint un autre dispositif à retour d'effort, de sa session, à téléopérer ledit outil virtuel (R) compte tenu de données secondaires élaborées à partir desdites données primaires transmises et de ses propres données primaires. 28. Method according to one of claims 16 to 27, characterized in that said simulation stations (SS) are placed in an operating mode chosen from a group of operating modes comprising a first mode called "independent" in which its force feedback device (DRE) can teleoperate said virtual tool (R) independently of the actions exerted by the other force feedback devices of said session, a second so-called "sending" mode in which its device force feedback is authorized to remote operate said virtual tool (R) and its corresponding operating parameters are transmitted to the other force feedback devices of said session so that they apply them, a third mode called "listening" in which its force feedback device (DRE) applies the operating parameters which it receives without being able to independently remote-operate said virtual tool (R), a fourth mode called "guided" in which its force feedback device (DRE) can teleoperate said virtual tool (R) by taking said secondary data which it receives, and a fifth mode called "guide" in which its force feedback device (DRE) cannot not teleoperate said virtual tool (R) but transmits primary data and forces another force feedback device, from its session, to teleoperate said virtual tool (R) taking into account secondary data produced from said transmitted primary data and its own primary data. 9. Utilisation des dispositif de simulation (DS), station de simulation (SS), installation de simulation et procédé de simulation selon l'une des revendications précédentes, dans le domaine de la simulation d'intervention chirurgicale. 9. Use of the simulation device (DS), simulation station (SS), simulation installation and simulation method according to one of the preceding claims, in the field of surgical intervention simulation.
PCT/FR2004/001193 2003-05-22 2004-05-14 Real-time simulation of actions carried out on a virtual object by means of a virtual tool teleoperated by correlated force feedback devices Ceased WO2004107241A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0306178A FR2855293B1 (en) 2003-05-22 2003-05-22 REAL TIME SIMULATION OF ACTIONS TAKEN ON A VIRTUAL OBJECT BY A VIRTUAL TOOL TELEOPERATED BY CORREL EFFORT RETURN DEVICES
FR03/06178 2003-05-22

Publications (2)

Publication Number Publication Date
WO2004107241A2 true WO2004107241A2 (en) 2004-12-09
WO2004107241A3 WO2004107241A3 (en) 2005-10-13

Family

ID=33396678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/001193 Ceased WO2004107241A2 (en) 2003-05-22 2004-05-14 Real-time simulation of actions carried out on a virtual object by means of a virtual tool teleoperated by correlated force feedback devices

Country Status (2)

Country Link
FR (1) FR2855293B1 (en)
WO (1) WO2004107241A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157200A (en) * 2014-08-06 2014-11-19 胡青 Novel intelligent cardiovascular interventional virtual operation simulation system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2387760B1 (en) * 2009-01-15 2019-05-01 SimQuest LLC Interactive simulation of biological tissue
CN111080802A (en) * 2019-12-31 2020-04-28 氧乐互动(天津)科技有限公司 Method and system for real-time control of force feedback device parameters using Unity engine

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5882206A (en) * 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
WO1999017265A1 (en) * 1997-09-26 1999-04-08 Boston Dynamics, Inc. Method and apparatus for surgical training and simulating surgery
WO1999042978A1 (en) * 1998-02-19 1999-08-26 Boston Dynamics, Inc. Method and apparatus for surgical training and simulating surgery
US20010055748A1 (en) * 2000-05-15 2001-12-27 Bailey Bradford E. System for training persons to perform minimally invasive surgical procedures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157200A (en) * 2014-08-06 2014-11-19 胡青 Novel intelligent cardiovascular interventional virtual operation simulation system

Also Published As

Publication number Publication date
WO2004107241A3 (en) 2005-10-13
FR2855293B1 (en) 2005-08-19
FR2855293A1 (en) 2004-11-26

Similar Documents

Publication Publication Date Title
RU2621644C2 (en) World of mass simultaneous remote digital presence
JP5101737B2 (en) Apparatus and method for interworking between virtual reality services
Xu et al. Point cloud-based model-mediated teleoperation with dynamic and perception-based model updating
CA2942652C (en) Three dimensional simulation system capable of creating a virtual environment uniting a plurality of users, and associated process
EP2478513A2 (en) Method for simulating specific movements by haptic feedback, and device implementing the method
EP1370188A1 (en) Method and system for remote reconstruction of a surface
FR3008531A1 (en) SIMULATOR OF A WORKING MACHINE
EP1207448A1 (en) Method and system for controlling a force feedback device
WO2004006624A1 (en) Sound source spatialization system
US12254786B2 (en) Recorded physical interaction playback
WO2004107241A2 (en) Real-time simulation of actions carried out on a virtual object by means of a virtual tool teleoperated by correlated force feedback devices
EP3449340A1 (en) Device and method for sharing an immersion in a virtual environment
EP2022009A2 (en) Method of coding and system for displaying on a screen a numerical mock-up of an object in the form of a synthesis image
FR3123532A1 (en) Mixed reality communication method, communication system, computer program and information carrier
Plesniak et al. Spatial interaction with haptic holograms
FR3056770A1 (en) DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT
FR3054048A1 (en) METHOD AND SYSTEM FOR REAL-TIME HIERARCHICAL CONTROL OF AN ARTICULATED STRUCTURE OPERATING A LIMITED NUMBER OF MOTION SENSORS
US11671254B2 (en) Extended reality authentication
EP1463980B1 (en) Method and system for dynamically controlling a force-feedback element
FR3104743A1 (en) Portable 3D content display device, system and method thereof.
EP2228987B1 (en) System for interpreting a movement of a party, corresponding method and computer program
Dodeller Transport layer protocols for haptic virtual environments
EP4348460A1 (en) Method and device for characterising a user, and device for providing services using same
Lee et al. The Hitchhiker’s Guide to the Metaverse
EP1960159A2 (en) Viewing system for the manipulation of an object

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase