[go: up one dir, main page]

WO2003088143A2 - Procede d'assistance et de guidage de navigation d'un outil dans des structures anatomiques. - Google Patents

Procede d'assistance et de guidage de navigation d'un outil dans des structures anatomiques. Download PDF

Info

Publication number
WO2003088143A2
WO2003088143A2 PCT/FR2003/001168 FR0301168W WO03088143A2 WO 2003088143 A2 WO2003088143 A2 WO 2003088143A2 FR 0301168 W FR0301168 W FR 0301168W WO 03088143 A2 WO03088143 A2 WO 03088143A2
Authority
WO
WIPO (PCT)
Prior art keywords
intraoperative
image
preoperative
anatomical structures
primitives
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2003/001168
Other languages
English (en)
Other versions
WO2003088143A3 (fr
Inventor
Pascal Haigron
Antoine Lucas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite de Rennes 1
Original Assignee
Universite de Rennes 1
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite de Rennes 1 filed Critical Universite de Rennes 1
Priority to AU2003246822A priority Critical patent/AU2003246822A1/en
Publication of WO2003088143A2 publication Critical patent/WO2003088143A2/fr
Publication of WO2003088143A3 publication Critical patent/WO2003088143A3/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects

Definitions

  • the field of the invention is that of planning and computer assistance with interventions.
  • the invention is applicable in the context of a minimal access intervention (unopened surgery) or in addition to conventional (open) surgery.
  • the invention relates to a method for assisting and guiding the navigation of a tool in anatomical structures.
  • Minimal access diagnostics and therapy is one of the most active areas of research in which virtual imaging and microtechnology will find a major place. These new practices concern all of surgery (general, vascular surgery, urology, orthopedics, neurology, gynecology, etc.). They have the advantage of a rapid post-operative recovery and a reduction in hospitalization and recovery times.
  • the reduced accessibility in the intervention area the limitation of the degrees of freedom for the manipulation and control of the instruments, as well as the local and restricted field of vision, make the act more and more delicate and difficult to perform. .
  • 2D X-ray imagery is currently the main source of intraoperative imagery for localization during interventional procedures with minimal access.
  • the guiding of interventional procedures by the image still most often results in a 3D mental reconstruction executed by the practitioner during the intervention.
  • the increase in dexterity of the practitioner required by these new interventional techniques reaches its limit and is not sufficient in itself to meet the criteria of security, reliability and traceability of the gesture imposed by the institutional context.
  • the interventional tool In the case of conventional surgery (or open surgery), certain surgical procedures with minimal access, or even specific treatment procedures (radiotherapy), part of the interventional tool remains outside the patient and therefore visible from the outside.
  • devices such as optical or electromagnetic 3D locators makes it possible to locate the tool during the intervention in relation to preoperative 3D image data. It is however necessary to have recourse to calibration and calibration phases and above all to match the preoperative and intraoperative 3D reference systems.
  • This matching or registration is most often carried out on rigid landmarks which can be anatomical (bone landmarks) or even artificial (markers, stereotaxic frame, rigid tools implanted in bone structures).
  • the anatomical landmarks or artificial markers are observable in the 3D preoperative acquisition. They are observed during the intervention by at least two images taken under two different incidences, or else by a 3D localization system, in order to match the preoperative and intraoperative 3D frames of reference.
  • a compression device stereotaxic helmet, thermoformed mask, molded mattress, immobilization system for the legs and feet
  • CT and 2D fluoroscopy type X-ray image The registration, based on the intensity data, is carried out by a process exploiting similarity measures (local correlation and gradient difference) between the intraoperative 2D image and a simulated grayscale view by considering the bone structures. Different measures of similarity are compared by considering a phantom of anatomical structures bone (lumbar spine) and clinical images of aortic stenting. Work focused on registration problems, localization problems are cited in the outlook. Based on the approach presented, it is envisaged to use two views for localization.
  • FR 9910906 (GE MEDICAL SYSTEMS SA) describes a process for automatic registration of two-dimensional and three-dimensional angiography images, by comparing the two-dimensional subtracted digital angiography image with data relating to a three-dimensional image. reconstructed from rotational angiography sequences.
  • this method one estimates a field of distortions in the image, one estimates a conical projection matrix and one carries out an approximation of a rigid transformation in space equal to the difference between an initial registration based on the field of distortions and on the conical projection matrix and a perfect registration.
  • This method based on the correlation of gray level images and on optical flows does not consider the segmentation and characterization of vascular structures. It only applies to 3D preoperative acquisitions made by rotational angiography and does not deal with the problem of localization in the preoperative 3D volume.
  • the invention particularly aims to overcome these various drawbacks of the state of the art.
  • One of the objectives is to propose and implement techniques for planning and guiding interventional procedures in anatomical structures (transluminal angioplasty, endovascular brachytherapy, ). Even if the approach of the invention integrates the major components of intervention planning (characterization of patient data, simulation of the intervention), the clinical challenge lies in the exploitation of intraoperative image data for assistance and guiding the intervention. It is a question of bringing effective solutions (essentially IT) to the problems of traceability of the intervention, of reliability and security of the surgical gestures, made more and more complex in modern surgical interventions.
  • the approach based on exploitation quantitative multimodal data from imagery, aims to favor the realization of the gestures performed by the specialist in his daily practice, as opposed to a robotic oriented approach that would replace all or part of these gestures.
  • the results obtained by the present invention even if this is not the objective initially pursued, can have repercussions in the field of medical robotics.
  • one of the objectives of the present invention is to provide a method for assisting and guiding the navigation of a tool in tree-like anatomical structures of tubular type, this method being able to be implemented with an acquisition of 2D intraoperative images performed under a single incidence.
  • the objective is to provide such a method which does not require any triangulation calculation, nor any 3D reconstruction, for the location of the tool.
  • the invention also aims to provide such a method to facilitate the planning of the intervention by the practitioner, as well as the intervention itself.
  • Another objective of the invention is to provide such a method which facilitates the adjustment by the practitioner of the intraoperative 2D image acquisition system.
  • An additional objective of the invention is to provide such a method which does not require the use of artificial markers.
  • This process includes: - a planning phase, comprising the following stages: * acquisition of a preoperative 3D image, associated with a preoperative 3D reference frame and in which the first tree-like anatomical structures appear; * segmentation of said first tree-like anatomical structures appearing on the preoperative 3D image, so as to obtain a descriptive model defining the branches of the first anatomical structures tree-like by means of first 3D primitives as well as the relationships between said branches; an intervention phase, comprising the following stages:
  • the present invention therefore falls within the general framework of planning and computer assistance for interventions, with the methodological basis being the concepts of virtual reality restricted to its imagery component (in particular, but not exclusively, based on exploratory navigation Virtual).
  • the proposed localization approach is based on the exploitation of image data, but the problem is not posed in terms of 3D reconstruction (from several 2D images taken under different incidences).
  • the 3D structure is assumed to be known, by obtaining a descriptive model of the anatomical structures.
  • the activated primitives used during the localization step result, for example in the case of a dense tree: either from a choice of a subset of primitives (central lines) in the planning phase (before the intervention ), or the implementation of an activation / deactivation process of branches based on contextual localization (see description below) during the movement of the tool (during the intervention) to avoid ambiguities
  • the same (first) anatomical structures are used here for registration and localization, even if the primitives (those for registration and those activated for localization) may differ.
  • the location technique according to the invention can be combined with a conventional location technique (providing relative location information).
  • said localization and monitoring step of said tool in said preoperative 3D image furthermore consists, for at least some of the intraoperative 2D images, in providing the practitioner with contextual localization information, indicating in the preoperative 3D image, from of said descriptive model of the first tree-like anatomical structures and of said point location information, the branch in which said at least one detected marker is located.
  • a double localization of the tool is carried out (by localization of at least one marker present on this tool), namely a point localization and a contextual localization.
  • the information corresponding to this dual location is provided to the practitioner.
  • said method comprises:
  • an intervention phase comprising the following stages: * acquisition, under at least one incidence, of a temporal sequence of intraoperative 2D images associated with an intraoperative 2D frame of reference, at least one of said intraoperative 2D images, called at least one reference intraoperative 2D image, showing said first and seconds tree-like anatomical structures;
  • the registration is carried out with the first tree-like anatomical structures, while the location of the tool is carried out in relation to the second anatomical structures.
  • first and second anataomal structures can be located on the same organ or on two separate organs. If the nature of the latter differs from that of the first anatomical structures (for example if they are neither arborescent nor tabular), the second activated 3D primitives can be of a type (for example surfaces) different from that (for example central lines) of the first primitives activated.
  • the first tree-like anatomical structures are of the tabular type.
  • said step of segmenting the first tree-like anatomical structures appearing on the preoperative 3D image is based on a process of virtual exploratory navigation within the preoperative 3D image, during which a process scene analysis associated with a virtual sensor makes it possible to automatically construct said descriptive model of the first tree-like anatomical structures.
  • the challenge here is to produce reliable and realistic images and to develop effective clinical protocols making the best use of the data.
  • the strong hypothesis of the approach of this preferred embodiment of the invention consists in not carrying out pre-segmentation or prior modeling of anatomical structures.
  • the virtual sensor automatically builds a robust descriptive (qualitative and quantitative) model of the unknown scene from patient-specific data. This descriptive model can be used in a planning phase to precisely determine the parameters of the tool and, as explained in detail below, in a registration phase to match the pre and intraoperative data.
  • Virtual exploratory navigation combines the calculation of the image of the observed scene as well as its analysis during displacement, in order to automatically define the trajectory of the virtual endoscope. Without pre-processing the discrete volume, surface detection, image calculation, scene analysis and trajectory estimation are performed during virtual exploration for each position of the sensor.
  • the morphology of the structures observed is assumed to be independent of the time factor.
  • the volume information such as the value of the voxels, and the information produced by a ray-tracing process (during the formation of the virtual endoscopic image), such as the set of 3D surface points and the map deep, constitute dense information.
  • Scene analysis which uses this information, is used to automatically guide the virtual endoscope inside the preoperative volume, and analyze the topological properties and measure the geometric characteristics of the structures anatomical observations.
  • Scene analysis is based on the progressive construction of a global structural description. It is performed locally from the depth information of the scene. It is based in particular on an adaptive sampling of the volume observed by a sequence of planes (along the line of sight of the sensor), which serves as a support for a structured representation of the surface points for the estimation of free spaces and the detection of collision.
  • the descriptive model of patient data obtained during the virtual exploratory navigation of the preoperative image volume constitutes a robust and operator-independent tool for the characterization of anatomical structures. It allows in particular the quantification and analysis of vascular lesions, as well as the planning of endovascular interventions, in particular in stenosed areas.
  • Virtual exploratory navigation, and more particularly the resulting anatomical characterization has been validated on phantom, animal model and on patient. Coupled with a tool (balloon, source of irradiation), with anticipation of displacement and prior analysis of the characteristics of the vessel and its lesions, virtual exploratory navigation constitutes the support for a computer-assisted gesture.
  • said virtual sensor is based on ray tracing and involves: a perspective projection, preferably supplemented by a model of geometric distortions; surface voxel detection of the trilinear interpolation type and thresholding along the rays; a rigid transformation between the frame of reference linked to the virtual sensor and the frame of reference linked to the preoperative 3D image; - a calculation of the value of the pixels by an illumination model, preferably the Phong illumination model.
  • said virtual exploratory navigation process comprises a step of filtering the preoperative 3D image, making it possible to define a preoperative 3D image filtered according to an algorithm such that, for each point of the image of the virtual sensor, a ray tracing and: the voxels which are crossed by the ray and which belong to the internal light of one of the branches of the first tree anatomical structures retain their initial values, and the voxels which are crossed by the ray and which do not belong to the internal light of one of the branches of the first tree-like anatomical structures take on a predetermined value, preferably zero.
  • the filtered preoperative 3D image makes the anatomical structures appear even more clearly, and the treatments performed on this filtered preoperative 3D image are optimized.
  • said planning phase advantageously further comprises the following steps : simulation of the acquisition, under at least one test incidence, of intraoperative 2D images, using, on the one hand, a realistic geometric model of the intraoperative 2D acquisition system and, on the other hand , of said descriptive model of the first tree-like anatomical structures; determination, from the simulated 2D intraoperative images, of an optimal incidence among said at least one test incidence, said optimal incidence being defined by first values of said set of adjustment parameters.
  • the intervention phase also comprises the following step: adjustment of the intraoperative 2D acquisition system as a function of said first values of the set of adjustment parameters.
  • the simulation of the virtual acquisition allows planning and thus an improvement of the 2D image produced during the intervention.
  • the parameters determined in simulation indicate to the practitioner how to position the intraoperative 2D acquisition device and adjust the optimal incidence for the observation of the anatomical structure considered and of the lesion. This approach thus makes it possible to locate the tool inside the anatomical structures, and in the particular case of an acquisition by X-rays, to limit the doses of X-rays and the quantity of contrast product absorbed by the patient during intraoperative acquisition by reducing the number of development acquisitions made possible by simulation.
  • said retiming step one starts from initial values of the parameters of the geometric transformation of predetermined type which are a function of said first values of the set of adjustment parameters of the intraoperative 2D acquisition system.
  • the algorithm performed during the registration step (minimization of at least one distance criterion) converges more quickly towards the parameters sought, since the latter are close to the initial values chosen.
  • said step of adjusting the intraoperative 2D acquisition system is followed by the following steps: restitution to the practitioner, on said at least one 2D intraoperative reference image making appearing said first tree-like anatomical structures, from the projection of said first 3D registration primitives according to said initial values of the parameters of the geometric transformation of predetermined type; refinement by the practitioner of the adjustment of the intraoperative 2D acquisition system, by attempting to superimpose, on said at least one reference 2D intraoperative image, said first primary anatomical structures with said projection of the first 3D registration primitives.
  • the practitioner can refine the adjustment of the intraoperative 2D acquisition system and the algorithm performed during the registration stage converges even faster. This amounts to having the practitioner manually perform the start of the registration step.
  • said planning phase further comprises the following steps: simulation of the acquisition, under at least one test incidence, of intraoperative 2D images, using, on the one hand, a realistic geometric model of the intraoperative 2D acquisition system and, on the other hand, said descriptive model of the first tree-like anatomical structures; - selection, in particular from simulated 2D intraoperative images, of data to be restored during a navigation control stage included in the intervention phase.
  • said planning phase further comprises the following steps: simulation of the acquisition, under at least one test incidence, of intraoperative 2D images, using, on the one hand, a model realistic geometry of the intraoperative 2D acquisition system and, on the other hand, of said descriptive model of the first tree-like anatomical structures; choice, from the simulated 2D intraoperative images, of said first 3D registration primitives which are used during said registration step.
  • said planning phase also comprises the following steps: simulation of the acquisition, under at least one test incidence, of intraoperative 2D images, using, on the one hand, a geometric model realistic of the intraoperative 2D acquisition system and, on the other hand, of said descriptive model of the first tree-like anatomical structures; - choice, from the simulated 2D intraoperative images, of said first or second activated 3D primitives which are used during said step of providing the practitioner with point localization information of said at least one marker in the preoperative 3D image.
  • said geometric transformation of predetermined type between the preoperative 3D reference frame and the intraoperative 2D reference frame is a combination of: at least one rigid transformation ( ⁇ sp ) between the preoperative 3D reference frame and a 3D reference frame referred to the source of the intraoperative 2D acquisition system, said at least one rigid transformation being defined by extrinsic parameters of rotation and translation; at least one perspective projection (-) between the 3D reference frame reported at the source of the intraoperative 2D acquisition system and a coordinate system associated with the intraoperative 2D images, said at least one perspective projection being defined by intrinsic projection parameters.
  • said resetting step consists in determining on the one hand said extrinsic parameters of rotation and translation, defining said at least one rigid transformation, and on the other hand said intrinsic projection parameters, defining said at least one perspective projection.
  • said retiming step consists in determining said extrinsic parameters of rotation and translation, defining said at least one rigid transformation.
  • Said intrinsic projection parameters, defining said at least one perspective projection are predetermined and assumed to be known.
  • the registration step consists in determining said extrinsic parameters of rotation and translation, defining said at least one rigid transformation.
  • Said method further comprises a calibration step, which may include an estimation of the geometric distortions, and making it possible to determine said intrinsic projection parameters, defining said at least one perspective projection.
  • said planning phase further comprises a step of selecting preoperative 3D data.
  • Said intervention phase further includes a navigation control step, making it possible to restore preoperative 3D data during the intervention. selected during said selection step included in the planning phase.
  • said step of selecting preoperative 3D data consists in determining a virtual trajectory of the tool and in selecting preoperative 3D data associated with said virtual trajectory.
  • Said navigation control step consists in restoring the selected preoperative 3D data, as a function of information relating to the location of the tool along said virtual trajectory.
  • the information relating to the location of the tool along said virtual trajectory is provided interactively by the practitioner, during the intervention.
  • the information relating to the location of the tool along said virtual trajectory is provided automatically, using the results of the location and tracking step of said tool.
  • said intervention phase further comprises a navigation driving step, itself comprising the following steps: estimation of an actual trajectory of the tool, using the results the step of locating and monitoring said tool; obtaining preoperative 3D data associated with said estimated trajectory; - restitution, during the intervention and based on information relating to the location of the tool along the estimated trajectory, of the preoperative 3D data obtained.
  • said step of selecting or obtaining preoperative 3D data is based on the result of the execution of the virtual exploratory navigation process, a process on which is based said step of segmenting the first tree-like anatomical structures appearing on the image. Preoperative 3D.
  • the preoperative 3D data restored during the navigation control stage belong to the group comprising: images making it possible to restore and interpret the location of the tool in the preoperative 3D environment, that is to say in particular with respect to the first or second anatomical structures; images allowing a better local appreciation of the characteristics of the first or second anatomical structures and / or of a lesion, as and when the tool progresses; visual and / or audible alarms.
  • the method according to the invention further comprises a step of monitoring and recording at least one item of information relating to the execution of said method.
  • said at least one item of information relating to the execution of said method belongs to the group comprising: simulated trajectories of the tool; virtual images associated with simulated trajectories of the tool; - parameters of 2D intraoperative virtual acquisition; parameters of real intraoperative 2D acquisition; instructions from the practitioner during the procedure; of the practitioner's gestures during the intervention.
  • said first 3D and 2D primitives and said second 3D primitives comprise at least one of the elements belonging to the group comprising: central lines of the first or second anatomical structures; meshes of at least one internal or external surface of the first or second anatomical structures.
  • said step of supplying the practitioner with location information of said at least one marker in the preoperative 3D image comprises a step of using contextual location information to resolve an ambiguity in obtaining point location information.
  • said step of providing the practitioner with location information of said at least one marker in the preoperative 3D image comprises a activation / deactivation process of first or second 3D primitives depending on the trajectory followed by said tool and / or information provided by the practitioner.
  • This activation / deactivation process is one of the ways to get the activated 3D primitives discussed above. It is for example repeated cyclically.
  • FIG. 1 shows a simplified flowchart of a particular embodiment of the assistance and guidance method according to the invention
  • FIG. 2 illustrates an example of a set of benchmarks and benchmarks used in the definition, within the framework of the method according to the invention, of a geometric transformation of the projection / retro-projection type between the preoperative 3D benchmark and the 2D benchmark intraoperative
  • - Figure 3 shows an example of 2D virtual intraoperative image (that is to say simulated)
  • FIG. 4A shows an example of a real intraoperative 2D image
  • FIG. 4B presents an example of segmented 2D image, containing a set of 2D primitives obtained by segmentation of the anatomical structures appearing on the example of real 2D intraoperative image of FIG. 4A;
  • FIG. 5 presents an example of a distance map, generated on the segmented 2D image of FIG. 4B, and making it possible to measure the distance between the 2D primitives and the projections of the 3D primitives;
  • FIG. 6 presents an example of an intraoperative 2D image, showing the anatomical structures and on which the projection of the primitives is reproduced
  • FIG. 7 presents a schematic view of an intraoperative 2D image and of a corresponding preoperative 3D image, making it possible to illustrate an example of punctual and contextual double localization of a tool, according to the method of the invention
  • FIG. 8 shows an example of the content of two display screens during an operation: a first screen displaying a real view of an intraoperative 2D image, a schematic view of which is shown in the upper part of FIG. 7; a second screen displaying a set of information restored during the operation.
  • the present invention therefore relates to a method of assistance and navigation guidance in tree-like anatomical structures of tabular type.
  • the method according to the invention can be applied to the circulatory system or to different physiological channels such as the vascular, urinary, digestive tracts.
  • the navigation control method of the invention allows to follow and precisely locate tools (catheter, probe, source of brachy therapy, balloon, stent, effectors, sensors, ...), in relation to the planned act in a virtual environment constituted from an image preoperative 3D and restore the information (segmented and / or modeled data) in the real intervention environment by techniques of the augmented reality type.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • the new process developed uses the preoperative data resulting from the characterization of the anatomical structures (descriptive model of the anatomical structures), preferably carried out by virtual exploratory navigation, for: virtually simulate the acquisition of a 2D image in a virtual environment by precise mathematical modeling of the intraoperative acquisition system; choose the relevant anatomical structures and the best point of view (s) for matching 3D preoperative and intraoperative data
  • the following six main components can be distinguished (which are then described successively in detail): i.
  • the data structured in the form of a discrete image volume (3D image) representing the anatomical structures acquired in the preoperative phase (by CT, MRI, etc.) are characterized by a process of virtual exploratory navigation (a).
  • a scene analysis process associated with a virtual optical sensor allows to build a descriptive model of the unknown scene (3D image not pre-segmented) and anatomical structures of interest, in the form of a binary tree with branch labeling.
  • the sensor virtual can thus automatically determine its trajectory in the preoperative volume image and analyze it.
  • an estimation of the parameters of the intervention is carried out using '' a specific patient simulation of the interventional procedure (trajectory planning, dilation, irradiation, ). ii. Simulation of intraoperative 2D acquisition.
  • a virtual simulation of intraoperative 2D acquisition is performed using a realistic geometric model (including the distortion phenomenon) of the acquisition system considered (2D X-ray imaging system). ) and data from virtual exploratory navigation.
  • This phase makes it possible to virtually and interactively determine the best incidence for the intervention (optimal point of view for the observation of the lesion and for the registration procedure described in iii.) And to select the data to be restored during the intervention. .
  • the choice of 3D primitives for registration is also done interactively (b).
  • a virtual registration simulation (iii.) Validates the choice of 3D registration primitives and estimates the parameters of intraoperative acquisition (f). iii. 3D / 2D registration.
  • This step which is a phase of initialization to localization, concerns the mapping of the 3D preoperative (for example the reference linked to a CT acquisition) and 2D intraoperative (for example the reference linked to an angiographic acquisition) reference.
  • a geometric transformation including one or more rigid 3D transformation (s) and a perspective transformation, is identified on the one hand, from the 3D primitives segmented during Planning
  • a process d optimization allows to estimate the transformation models between the preoperative 3D reference and the intraoperative 2D reference, by minimizing (at least) a criterion of distance between the projection of 3D primitives and 2D primitives, from a distance map calculated in the intraoperative image plane (ef).
  • a variant of the aforementioned procedure (which is based solely on the exploitation of the anatomical structures observed in the preoperative 3D and intraoperative 2D images) is to use a test pattern comprising radio-opaque points of known coordinates.
  • the 2D intraoperative acquisition is then performed in the presence of the target.
  • a calibration phase makes it possible to estimate part of the transformation models.
  • the rigid transformation (3 rotations, 3 translations) between the preoperative 3D reference frame and the 3D reference frame associated with the intraoperative acquisition is then estimated by the method exploiting the anatomical structures as described above. iv. Location and monitoring of the tool.
  • the radiopaque markers present on the tool are detected in real time in 2D intraoperative images (after natural evacuation of the product from contrast in the circulatory system) acquired under the same incidence as that adopted during registration (h).
  • a retro-projection is carried out in order to associate with each detected image point, and corresponding to a radiopaque marker on the tool, a line of retro-projection. The intersection of each of these lines with the center line of the vessel, or the calculation of the point of the center line closest to each rear projection line, makes it possible to locate the radiopaque point as well as the tool (position , orientation) in the preoperative 3D volume (i).
  • This step involves restoring the relevant elements of the planning during the intervention.
  • the restoring of the preoperative 3D data selected in the simulation phase can be done by various means such as HMD glasses (“Head Monted Display”) or a multi-screen system on which the real images conventionally produced during an enriched intervention appear. data from the schedule (j).
  • the simplest form is to select a virtual trajectory, as well as the associated images (virtual endoscopy, reformatted sections, mixed images with color coding indicating the nature of the different tissues making up the lesion Certainly, and display them during of the intervention.
  • the location is approximated and defined interactively by the user during the intervention.
  • the most elaborate form of this augmented reality navigation behavior consists in using the results of step (iv) to select the virtual image resulting from virtual exploratory navigation in a sequence pre-recorded in the simulation phase (ii ).
  • the trajectory is determined and the associated virtual images are calculated in the preoperative volume as a function of the trajectory actually followed by the tool.
  • audible alarms can also be used to indicate a target or a deviation too great compared to the location or the ideal trajectory defined in simulation.
  • vi. Monitoring and digital recording of the procedure.
  • the simulated ideal trajectory, the associated virtual images, the parameters of the virtual and real acquisition, the practitioner's instructions and gestures, more particularly during the decisive phases of the intervention, etc., are recorded (1) in order to constitute a black box of the intervention, to serve as a basis for postoperative follow-up studies of the intervention and the evolution of the lesion, and to constitute a set of reference cases for future interventions.
  • Fh Detailed description of a particular embodiment of the invention
  • This step mainly concerns the characterization of 3D anatomical data from pre-operative imaging (CT, MRI). It is based on the concept of virtual exploratory navigation in an image volume acquired in clinical conditions. Unlike conventional systems, which require a pre-segmentation of the volume in order to create a simplified surface model of a particular structure, the strong hypothesis of the present approach consists in not carrying out pretreatment or prior modeling of the structures. anatomical.
  • the proposed system is capable of overcoming the difficulties inherent in the field of application and linked to very small free-form structures, due to the difference in resolution between the scene observed (preoperative image volume) and the 2D image of the virtual sensor, robust detection of anatomical surfaces, presence of bifurcations (leading to multiple candidate trajectories) and guidance of navigation by image.
  • this system is limited to a single mode of perception, vision, and to a single type of physical interaction, collision detection.
  • the morphology of the structures observed is assumed to be independent of the time factor.
  • a virtual optical sensor is modeled to explore a non-pre-segmented image volume.
  • the model of this sensor based on ray tracing, involves:
  • Two operating modes are distinguished.
  • the user defines the parameters of the sensor (position, orientation, focal length) and thus a certain number of points of passage of the trajectory.
  • the interpolated trajectory can then be reproduced in deferred real time.
  • the user defines a starting point and an ending point, the virtual sensor then automatically explores in the anatomical structures. Active navigation thus combines the calculation of the virtual image of the observed scene, as well as its analysis during displacement, in order to automatically define the trajectory of the virtual endoscope. Without pre-processing the discrete volume, surface detection, image calculation, scene analysis and trajectory estimation are carried out during virtual exploration for each position of the sensor.
  • the volume information such as the value of the voxels, and the information produced by the ray tracing (during the formation of the virtual endoscopic image), such as the set of 3D surface points and the depth map , constitute dense information.
  • Scene analysis which exploits this information (see article referenced [3] above), is used to automatically guide the virtual endoscope inside the volume, analyze the topological properties and measure the geometric characteristics of the anatomical structures observed. .
  • the scene analysis is based on the progressive construction of a global structural description, in the form of a binary tree in which the nodes represent points of separation between the vascular segments and the leaves characterize maximum depths. This analysis is performed locally from the depth information of the scene.
  • a polygonal mesh is constructed by considering a certain number of surface points distributed in a structured manner for an image I, (position P ; of the virtual sensor) and associated with the corresponding surface points for an image I i + ⁇ (position P i + ⁇ from the virtual sensor).
  • the wall is characterized during navigation by local analysis of the value of the voxels (density in the case of CT imaging) in a plane orthogonal to the trajectory followed. Beyond the internal light of the anatomical structure considered, regions of homogeneous values are formed in order to highlight, by coding in color scale, the different classes of values of the voxels and to characterize the nature of the wall and of the lesion (myointimal hyperplasia, atheroma plaque, ). A mixed image integrating a virtual endoscopic view of the internal lumen and a characterization of the density outside this internal lumen can thus be produced for each position along the central line of the anatomical structure considered.
  • the virtual sensor thus automatically builds a description model (qualitative and quantitative) of the unknown scene.
  • This descriptive model of the pre-operative patient data obtained during the virtual exploration of the image volume constitutes a robust and operator-independent tool for the characterization of the anatomical structures (topology, geometry, wall quality).
  • ii. Modeling and Virtual Simulation of intraoperative acquisition ii.a. 3D preoperative data
  • the 3D segmented structures are from the virtual exploratory navigation system described above. They consist of central lines
  • the transformation between the preoperative 3D referential and the intraoperative 2D referential mainly involves two classes of transformations: one or more rigid 3D transformations and a perspective transformation.
  • a rigid 3D transformation ⁇ ba is then defined by a relation involving a set of 6 parameters E (T X , T ⁇ , T z , oc, ⁇ , ⁇ ) where T x , T Y , T z are the 3 translation parameters and ⁇ , ⁇ , ⁇ the 3 Euler angles
  • the perspective projection can be expressed, to the nearest scale factor k, by the following matrix relation:
  • Preoperative 3D frame of reference associated with the preoperative image volume. It is fixed during acquisition and / or can be modified at the start and during processing. in this repository that localization will have to be carried out. This repository is also the basic repository for the creation of the virtual environment for simulation and intervention planning.
  • Point O corresponds to the intersection of the main axis with the image plane.
  • the axes Ox and Oy are respectively parallel to the axes Ax a and Ay a as well as to the axes Sx s and Sy s .
  • Landmark associated with the discretized intraoperative 2D image It identifies the pixel positions of the intraoperative 2D image by integer coordinates according to a matrix convention.
  • the objective being to locate in the preoperative volume the tool delimited by radiopaque points (for example a balloon delimited by two radiopaque points, a stent, or any other tool) on the 2D intraoperative image, it s '' is to define the model of the geometric transformation between the 3D preoperative and 2D intraoperative by projection, and vice versa by rear projection.
  • This transformation results physically from the different transformations described below.
  • This transformation brings the points of the preoperative volume to their correspondents in the intraoperative space. In particular, it translates the "shake-up" due to the differences in patient accommodation between the preoperative and intraoperative acquisitions.
  • the transformation also integrates the difference in the choice of frame of reference by relationship to anatomical structures. These structures are assumed, by hypothesis, to undergo very little deformation between the pre- and intraoperative acquisitions, so that these are neglected and the transformation sought is rigid.
  • this assumption remains valid if the anatomical region considered (in the example the neck) does not undergo deformations between the preoperative acquisition and the intraoperative acquisition.
  • This condition can be met by using a simple, non-invasive restraint device, the patient's installation plan already partially fulfilling this role, to reproduce the patient's installation (in the sense of deformation) between the two acquisition phases. . 2) t SR , a rigid 3D transformation between the 3D reference system of the real environment -ft R and the 3D reference system reported at the source of the acquisition system ÎSt s .
  • Equation (1) It can be expressed according to equation (1) by a transformation matrix M SR defining a 3D translation and rotation of parameters (T xsr , T ysr , T ⁇ r , ⁇ xsr , ⁇ ysr , ⁇ psr ) in a system homogeneous coordinates:
  • This transformation can be integrated into the perspective transformation model described below. It then concerns the extrinsic parameters of the acquisition system (position, orientation in the real environment). It makes it possible to highlight an additional decomposition, that is to say a combination of two transformations which respectively concern the passage from the frame of reference 0t R to the frame of reference 3D of the acquisition system 8t A (transformation r ⁇ ) and the passage of this reference frame 8t A to the reference frame reported at the source 9t s (transformation ⁇ SA ).
  • transformation ⁇ SA transformation ⁇ SA
  • the sets of parameters considered are then respectively (T ⁇ , T yar , T w , ⁇ xar , ⁇ yar , ⁇ par ) and (T xsa , T ysa , T zsa , ⁇ xsa , ⁇ ysa , ⁇ psa ) for the transformations t ⁇ and t SA .
  • the fact of explicitly introducing the transformation x into the virtual simulation environment makes it possible to reveal the parameters effectively adjustable by the practitioner in the real intervention environment. This ensures consistency of the adjustable parameters in real and virtual environments, even if the transformation ⁇ m is not precisely known in the real environment since it is one of the unknowns of the problem. It can be estimated in a preliminary calibration phase or, after combination with the other transformations, be integrated into the parameter search space (cf. registration strategies), the transformation tj-p being in all cases unknown.
  • ⁇ m a transformation of the perspective transformation type, which brings the points expressed in the intraoperative frame of reference 9t R into their correspondents on the 2D image.
  • the model of a 2D image sensor such as an X-ray acquisition system for intervention (fluoroscopy or “C-arm”) can indeed be approximated by a perspective transformation possibly supplemented by a model of geometric distortions. It is also possible to use a mathematical representation of the multi-plane model type which does not approximate a single projection center, a correspondence between these two models can be established.
  • the perspective transformation includes the perspective projection and the transformation ⁇ SR in the following way:
  • T yar , T zar , ⁇ xar , ⁇ yar , ⁇ zar ) of the transformation t ⁇ between the reference frames 9t R and 9t A are defined interactively by the user.
  • the transformations t SA and tjg, between the reference frames 9t s and 0t A , and Stj and 9t s respectively are completely defined from the source - isocentre (S) and source - image plane distances (p> I), as well as intrinsic parameters of the acquisition system which are approximately known for a given device.
  • the calculation of the virtual intraoperative image is not limited to the projection of curves or surfaces materialized by 3D points, but consists in projecting onto the image plane the preoperative volume Vol p according to the transformation expressed by l 'equation (11).
  • Two projection modes can be realized, a radio mode which consists in assigning to each pixel of the virtual image the sum of the voxel values along the associated projection line, or a MIP mode which consists in assigning to each pixel of the virtual image the maximum value encountered along the associated projection line. It is therefore not here a simple projection of a 3D point on a 2D plane.
  • the geometric distortion model (10) being known, or supposed to be known in this step, another solution consists in defining a correspondence table (LUT) of the size of the image which expresses the coordinates without distortion from the coordinates with distortions.
  • LUT correspondence table
  • u LUT u (u d , v d ) v ⁇ LUT v (u d , v d ) with 0 ⁇ u d ⁇ N, 0 ⁇ v d ⁇ M, for an image of size N x M
  • each point in the LUT U and LUT V tables can be calculated from a limited number of pairs of associated points ⁇ (u d , v d ); (u, v) ⁇ given by
  • Expression (13) defines in the preoperative 3D reference frame the projection line passing through the projection center S and the image point considered.
  • the image volume Vol p (ij) containing the segmented anatomical structures in the preoperative 3D frame of reference is known according to the algorithm described above in ii.a.
  • the coordinates i jc correspond to a discretization of the coordinates x, y, z in the preoperative 3D frame of reference.
  • the summation of the interpolated voxel values or the detection of the maximum value of the interpolated voxel along the projection line associated with each pixel of coordinates u d , v d then makes it possible to simply generate the 2D virtual image intraoperatively (FIG. 3 ).
  • the model parameters are set interactively by the user. For this, it has a graphical interface which allows it to act on the acquisition system, as well as on the anatomical characteristics to remember to perform the registration.
  • the interface constitutes the interactive part of the virtual environment from which the user can simulate, among other things, the acquisition part of the intervention.
  • the virtual 2D image as well as the associated acquisition parameters being determined he can then select from the segmented 3D preoperative data the anatomical structures that seem relevant to him (choice of registration primitives), in order to test the registration procedure described in the following. In the event that the registration result is not satisfactory (poor accuracy for example), it can reconsider the choices made and restart the procedure several times in order to select the best configuration.
  • mapping of planning data and operational imagery essentially results in the registration: - of 3D preoperative data extracted from a discretized image volume (CT for example) and 2D intraoperative data extracted from a projective image by X-rays acquired under a single incidence.
  • CT discretized image volume
  • the proposed method is based on: (a) fine modeling of the acquisition system described above;
  • the segmentation phase of the 2D intraoperative image does not use sophisticated techniques, but only the basic functions of image processing.
  • vascular structures for example, these make it possible to identify segmented structares of satisfactory quality on real angiography data.
  • the data to be segmented are standard images of arteries, into which contrast agent has been injected so that they appear on intraoperative angiography (2D intraoperative reference image).
  • 2D intraoperative reference image 2D intraoperative reference image
  • This mask makes it possible to obtain by subtraction an image of the injected vascular structares which is not very noisy (FIG. 4A on which segmentation functions are applied.
  • a 2D distance map is used to measure, without an explicit search for point-to-point correspondences, the distance between the segmented 2D lines and the lines
  • This distance map is generated on the segmented 2D image using a Chamfer operator. It is an operator close to a filter, which is applied to the image by traversing it in one direction then in the opposite direction and which creates an image whose pixel value is all the greater as the distance from this pixel with segmented lines is large.
  • the 3D central lines (3D registration primitives) being discretized, they are described by a finite set of points. The projection of each of the points of this set on the distance map ( Figure 5) gives a distance value which translates the error between the 2D lines and the projected 3D point.
  • the algorithm used is an enumerative type algorithm. From a set of initial parameters, it searches the local minimum almost exhaustively. For the sake of simplification, the behavior of the algorithm is described by considering a set of two parameters. Starting from the initial position D (p w , p 2 z > ), we fix the parameter ⁇ 2 and we search on the axis of the parameter pi in a neighborhood of A for the best transformation. We thus obtain the point (P W P ID ) - Then we fix pj at p m , and we find the minimum point in the direction p 2 , that is (p w ⁇ , p 2D >). The fact of varying the parameters by fixing the others reduces the computation time and makes the complexity of the algorithm linear with respect to the number of parameters.
  • the proposed method applies to the localization and navigation management in the case of tree-like anatomical structures and of tabular type. As already mentioned above, it can concern the circulatory pathways or different physiological channels as soon as preoperative 3D and intraoperative 2D images are available. Regarding the latter, it is however necessary to clearly distinguish the anatomical structures of interest on the images. In addition, the assumption is made that the anatomical structures of interest, or the parts of these structures, used for registration are little deformed between the moment of preoperative acquisition and the moment of intraoperative acquisition.
  • the field of application taken as an example in the following relates to the conduct of navigation in vascular structures.
  • One of the video outputs of the fluoroscopy device being connected to an acquisition card (possibly including digitization and image processing functions) inserted in a PC type computer, the image sequence on which the image is superimposed.
  • projection (60) of the 3D central lines of the vessels pre-calculated in simulation, according to the% & transformation and the typical or measured distortion model of the device considered, is restored in real time on a second control screen ( Figure 6) .
  • the practitioner can thus refine the adjustment of the incidence during this first acquisition, by seeking to approximate the image of the injected vessels with the projected 3D central lines.
  • the set of parameters from the virtual simulation makes it possible to optimize the device adjustment phase, both in terms of the acquisition time, and therefore of the irradiation undergone by the patient, as well as of the selected incidence. She also allows to have initial conditions on the parameters sought in the registration process close to the final solution, to improve the convergence of the optimization algorithm (iii.c).
  • the acquisition incidence being fixed, two embodiments of the registration procedure which rely heavily on fine modeling of the acquisition system (described in ii.) Are possible.
  • a first embodiment it involves estimating the ten parameters of the transformation ", that is to say the intrinsic parameters of the acquisition system (transformation t ⁇ ) and the extrinsic parameters of the rigid transformation ⁇ SP which is the combination of the transformations ⁇ SR and t ⁇ ,.
  • the geometric distortions corresponding to the selected incidence can be estimated more precisely in a conventional preliminary phase thanks to a plane radiopaque grid placed near and parallel to the plane of the sensor.
  • the transformation sought consists of six rotation and translation parameters (T xsp , T ysp , T ⁇ p , ⁇ xsp , ⁇ ysp , ⁇ ⁇ p ) aligning the 3D preoperative coordinate system with the 3D coordinate system of the acquisition system and the four intrinsic parameters of the acquisition system (u 0 , v 0 , F u , F v ).
  • the registration is then performed on this search space using only the structure s anatomical following the methodological plan developed in the previous section.
  • the intrinsic model of the acquisition system ⁇ IS is determined by a calibration procedure which can also include the estimation of the geometric distortions.
  • a calibration procedure which can also include the estimation of the geometric distortions.
  • Several approaches have been reported in the literature. It is necessary to use a calibration target showing radiopaque points covering a useful 3D space. This can be placed in the operating field and take a geometric shape adapting to the patient's anatomy.
  • a less restrictive solution for the interventional procedure consists in fixing in front of the image detector two united planes provided with radiopaque points, strictly parallel and distant from each other by about 10 cm.
  • a multi-plane calibration method can then be applied, the perspective projection model being deduced simply from the multi-plane model.
  • the registration on the segmented anatomical characteristics then consists in calculating the six parameters (T xsp , T ysp , T op , ⁇ xsp , ⁇ ysp , ⁇ ⁇ p ).
  • T xsp , T ysp , T op , ⁇ xsp , ⁇ ysp , ⁇ ⁇ p we proceed according to the same methodology as that described above but the search space for parameters is less important.
  • the correspondent 72 on the intraoperative 2D image 73 of any point 71 of the preoperative 3D space 74 is therefore known.
  • the projection (or retro-projection) line coming from the projection center and passing through any 2D point 72 is determined simply by calculating the coordinates of the projection center and the directing vector of the line in the preoperative 3D space.
  • the projection line 70 is insufficient to locate a point tool in a volume.
  • the volume data and in particular the vascular tree segmented by virtual exploratory navigation are known.
  • the endovascular tools are guided into the lumen of the vessel by a catheter, their localization in the preoperative volume is carried out by rear projection in the segmented volume consisting of the vascular tree and by the calculation of point 71 of the tree vascular (center lines of the vessels) closest to the projection line. More precisely, the different branches of the discrete 3D vascular tree resulting from virtual exploratory navigation are interpolated so as to be described by a set W of 3D points w t .
  • the points of the 2D intraoperative image 73 to be located in the 3D preoperative space 74 are detected by conventional image processing algorithms. It is performed on the standard acquisition card including image processing functions. Indeed the tool (balloon, irradiation source, ...) being materialized by radiopaque points delimiting it and the contrast product being naturally removed from the vascular structures at this stage of the process, the detection of the points to be located in the image does not pose any particular difficulty. Besides the independent localization of certain points of the tool in the 3D preoperative space, the consideration of several points also makes it possible to determine its orientation with respect to the surrounding anatomical structures.
  • FIG. 8 shows an example of the content of two display screens 80, 81 during an operation.
  • the practitioner visualizes a real view of an intraoperative 2D image 82, a schematic view of which is represented in the upper part of FIG. 7.
  • the second screen 81 he visualizes a set of information restored during the intervention (see description below),
  • a temporal sequence of 2D intraoperative images 82 is acquired (under the same incidence as the reference 2D intraoperative image) after evacuation of the contrast product and introduction of a catheter 84 on which the tool is placed.
  • the term tool is used in the broad sense, it can designate a balloon, a stent, a source of radiation ...
  • the 2D intraoperative X-ray image 82 shows the tool (in the example a balloon not yet expanded) materialized by two radiopaque points 85, 83.
  • the enlarged region of interest 86 makes it possible to better distinguish the two radiopaque points 85, 83.
  • FIG. 7, which is a simplified schematic view of the real example of figure 8 these points are detected then localized punctually on the primitives activated 76 in the pre-operative 3D reference frame.
  • the activated primitives 76 are three branches of the vascular tree.
  • the branch 75 associated with one of the points is highlighted by the contextual localization. Indeed, in addition to the punctual localization described above, it is possible, from the structural description of the tree structure (descriptive model), to perform a contextual localization. The latter makes it possible to indicate in which branch of the tree structure is located the localized point and the course followed by the tool. From this contextual localization, an activation / deactivation process allows activating during the evolution of the tool a limited number of possible branches for future localizations and thus removing ambiguities in the case of structures. dense trees for which several candidates would be possible (superimposition of the anatomical structures in the 2D image). v. Navigation
  • the restoring of the preoperative 3D data selected in the simulation phases can be done by different means such as HMD glasses, or a multi-screen system, on which the real images conventionally produced during an intervention enriched with data from the planning appear. .
  • the simplest form is to select a virtual trajectory, as well as the sequence of associated images, and display it during the intervention. In this case, the location is approximated and defined interactively by the user during the intervention.
  • the most elaborate form of this augmented reality navigation behavior consists in using the results of step (iv) to select the virtual image resulting from virtual exploratory navigation in a sequence pre-recorded in the simulation phase (ii ), or of. determine the trajectory and calculate the associated virtual images in the preoperative volume according to the trajectory actually followed by the tool.
  • the planning information returned during the intervention to help the practitioner's decision-making can be of different nature.
  • a first type of image makes it possible to restore and interpret the location of the tool in the preoperative 3D environment, that is to say in relation to the other anatomical structures.
  • This contextual localization is based for example on sections or MIP images calculated in three planes orthogonal to the preoperative volume with the superposition of a synthetic representation of the tool during actual navigation.
  • the practitioner can also have recourse to images making it possible to better appreciate locally the characteristics of the anatomical structures and of the lesion as the tool progresses.
  • the information restored on the second screen 81, during the intervention includes: three orthogonal cutting planes 87, 90 and 91 of the preoperative 3D volume 74, fixed by the coordinates of the localized point 88 , the superposition of the position of the tool and of its orientation 89 (obtained by considering the location of the second radiopaque marker) on these planes; - a virtual endoscopic view 93 for the location and the orientation considered; a mixed view 92 showing a representation of the virtual endoscopy type inside the lumen of the vessel and a representation of the density of the tissues coded in color in a section plane reformatted for the exterior of the lumen of the vessel.
  • audible alarms can also be used to indicate a target or a deviation too great compared to the location or the ideal trajectory defined in simulation. vi. Monitoring and digital recording of the procedure The simulated ideal trajectory, the associated virtual images, the parameters of the virtual and real acquisition, the instructions and the gestures of the practitioner during the intervention and more particularly during the decisive phases of the intervention are recorded in order to constitute a black box for the intervention, to serve as a basis for postoperative follow-up studies of the intervention and the evolution of the lesion, and to constitute a set of reference cases for future interventions.
  • the registration is carried out with first tree-like anatomical structures (as described in detail above), but the location of the tool is performed in relation to second anatomical structures (which may be non-tree-like). It is assumed in this case that the second anatomical structures are adjacent to and substantially fixed with respect to the first tree-like anatomical structures. It is also assumed that 3D (second) primitives can be obtained by segmenting the second anatomical structures.
  • the two aforementioned embodiments of the invention can be combined.
  • the registration is carried out with the first tree-like anatomical structures, and the localization of one or more tools is carried out in relation to the first tree-like anatomical structures and / or with the second anatomical structures.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

L'invention concerne un procédé d'assistance et de guidage de navigation d'un outil dans des structures anatomiques arborescentes, dites structures d'intérêt. Une phase de planification comprend les étapes suivantes: acquisition d'une image 3D préopératoire dans laquelle apparaissent les structures d'intérêt; segmentation des structures d'intérêt apparaissant sur l'image 3D préopératoire, pour obtenir un modèle descriptif. Une phase d'intervention comprend les étapes suivantes: acquisition, sous au moins une incidence, d'une séquence temporelle d'images 2D peropératoires dont au moins une (dite image de référence) fait apparaître les structures d'intérêt; segmentation des structures d'intérêt apparaissant sur l'image de référence, de façon à obtenir des primitives 2D ; recalage entre les référentiels 3D préopératoire et 2D peropératoire, consistant à déterminer des paramètres d'une transformation géométrique; localisation et suivi de l'outil dans l'image 3D préopératoire, par détection, dans les images 2D peropératoires, d'au moins un marqueur présent sur l'outil, et fourniture d'informations de localisation ponctuelle du ou des marqueur(s) dans l'image 3D préopératoire.

Description

Procédé d'assistance et de guidage de navigation d'un outil dans des structures anatomiques.
A - DOMAINE DE L'INVENTION
Le domaine de l'invention est celui de la planification et de l'assistance par ordinateur aux interventions. L'invention s'applique dans le cadre d'une intervention à accès minimal (chirurgie non-ouverte) ou en complément d'une chirurgie conventionnelle (ouverte).
Plus précisément, l'invention concerne un procédé d'assistance et de guidage de navigation d'un outil dans des structures anatomiques. Le diagnostic et la thérapie à accès minimal est un des domaines de recherche les plus actifs dans lequel l'imagerie virtuelle et les microtechniques trouveront une place majeure. Ces nouvelles pratiques concernent l'ensemble de la chirurgie (chirurgie générale, vasculaire, urologie, orthopédie, neurologie, gynécologie, etc). Elles présentent l'avantage d'une récupération post-opératoire rapide et d'une réduction des temps d'hospitalisation et de convalescence. Toutefois l'accessibilité réduite dans la zone d'intervention, la limitation des degrés de liberté pour la manipulation et le contrôle des instruments, ainsi que le champ de vision local et restreint, rendent l'acte de plus en plus délicat et difficile à réaliser.
A titre d'exemple, l'imagerie 2D à Rayons X constitue actuellement la principale source d'imagerie peropératoire pour la localisation lors de procédures interventionnelles à accès minimal. Le guidage de procédures interventionnelles par l'image se traduit encore le plus souvent par une reconstruction 3D mentale exécutée par le praticien au cours de l'intervention. L'accroissement de la dextérité du praticien exigée par ces nouvelles techniques interventionnelles atteint sa limite et ne suffit pas à elle seule à répondre aux critères de sécurisation, de fiabilisation et de traçabilité du geste imposés par le contexte institutionnel.
La planification, l'assistance et le guidage de l'acte interventionnel par ordinateur s'impose comme une solution d'avenir. Plusieurs approches sont possibles en fonction de l'attribution et de la répartition des niveaux décisionnels entre l'homme et la machine. Elles concernent ainsi les interventions assistées et guidées par l'image, les gestes robotisés asservis pouvant aller jusqu'à des actions robotisées autonomes pour les gestes simples. Dans tous les cas, des problèmes communs de localisation et de conduite de navigation se posent, us peuvent être avantageusement résolus par la définition d'un environnement virtuel dans lequel s'effectue le planning préopératoire et sa confrontation pendant l'intervention à l'environnement réel dans lequel le geste est effectué.
Dans le cas de la chirurgie classique (ou chirurgie ouverte), de certaines procédures de chirurgies à accès minimale, ou encore de procédures de traitement particulières (radiothérapie), une partie de l'outil interventionnel reste hors du patient et donc visible de l'extérieur. L'emploi de dispositifs tels que des localisateurs 3D optiques ou électromagnétiques permet de localiser l'outil au cours de l'intervention par rapport à des données image préopératoires 3D. Il est toutefois nécessaire d'avoir recours à des phases de calibrage et d'étalonnage et surtout de mettre en correspondance les référentiels 3D préopératoire et peropératoire. Cette mise en correspondance ou recalage est réalisée le plus souvent sur des repères rigides qui peuvent être anatomiques (repères osseux) ou bien artificiels (marqueurs, cadre stéréotaxique, outils rigides implantés dans les structures osseuses). Dans ce cas, les repères anatomiques ou les marqueurs artificiels sont observables dans l'acquisition préopératoire 3D. Ils sont observés lors de l'intervention par au moins deux images prises sous deux incidences différentes, ou bien par un système de localisation 3D, afin de mettre en correspondance les référentiels 3D préopératoire et peropératoire.
L'utilisation d'un dispositif de contention (casque stéréotaxique, masque thermoformé, matelas moulé, système d'immobilisation des jambes et des pieds) est un moyen possible pour fournir une certaine reproductibilité de la position du patient entre deux installations (acquisition préopératoire, acquisition et traitement peropératoire).
D'une manière générale, il est difficile d'assurer une reproductibilité satisfaisante de l'installation du patient et donc de la localisation, à moins d'utiliser des systèmes invasifs (casques stéréotaxiques par exemple), ces systèmes invasifs n'étant de surcroît efficaces que pour le repositionnement de structures rigides ou de structures liées rigidement à celles dans lesquelles ils sont implantés. Des systèmes de numérisation de la surface externe du patient (capteur de forme), qui est aussi visible au cours de l'intervention, peuvent venir aider au recalage et ainsi éviter l'utilisation de dispositifs de contention invasifs ou non. L'intérêt réside dans le confort apporté au patient, mais leur utilisation dans le champ opératoire peut s'avérer délicate et coûteuse (stérilisation), tout en ne satisfaisant pas aux contraintes de liens rigides entre les structures anatomiques. De plus, ces différentes solutions imposent souvent une mise en place ou une utilisation unique en début de procédure, voire avant l'acquisition préopératoire, et donc un recalage unique qui est difficilement ré-ajustable au cours de l'intervention en raison des contraintes ou de la lourdeur des protocoles qu'elles imposent. Lorsqu'il s'agit de structures anatomiques de nature arborescente et tubulaire telles que les voies vasculaires, urinaires, digestives, ou bronchiques, les procédures interventionnelles sont de plus en plus réalisées par des techniques de type « accès minimal », c'est-à-dire par introduction de l'outil par ponction percutanée ou par les voies naturelles. Les structures anatomiques concernées ne présentent pas généralement un lien rigide avec des structures osseuses. Elles peuvent dans certains cas se déformer entre deux installations du patient, voire être en mouvement pour une installation donnée. Le recalage des référentiels préopératoire et peropératoire nécessite le développement de nouvelles solutions pour proposer au praticien un système d'assistance et de guidage de l'intervention par ordinateur qui permettra de fiabiliser et de sécuriser l'intervention. Par exemple, dans le domaine des interventions vasculaires
(chirurgie endovasculaire, radiologie interventionnelle), il n'existe pas à l'heure actuelle de système de geste assisté par ordinateur permettant de planifier de manière réaliste une procédure endovasculaire et aucun système ne permet, à la connaissance des inventeurs, de suivre ou de guider précisément les outils en relation avec l'acte planifié. Outre les particularités liées aux structures anatomiques considérées, les interventions à accès minimal nécessitent des procédures de recalage à accès minimal. Il s'agit de localiser des outils flexibles ou bien rigides qui sont totalement insérés dans les structures anatomiques. Si la localisation relative de tels outils pourrait être réalisée par des dispositifs électromagnétiques ou radiofréquences (avec introduction intra- corporelle de micro-capteurs ou -émetteurs), ceux-ci sont encore à l'état de projet ou très récents (au stade de l'évaluation) et ne résolvent pas les problèmes de localisation absolue. En effet, la localisation relative permet d'estimer la position et l'orientation de l'outil dans un référentiel d'acquisition 3D peropératoire, mais il reste nécessaire de mettre en correspondance ce référentiel avec le référentiel 3D préopératoire par une procédure de recalage. D'autre part, il paraît difficile de se passer de l'imagerie peropératoire 2D (à rayons X, par résonance magnétique nucléaire, par ultrason, ...) qui constitue la référence visuelle en cas d'incertitude et qui permet d'effectuer le contrôle immédiat du résultat de la procédure mterventionnelle. Pour ces deux raisons, qui s'imposent dans la grande majorité des interventions, l'acquisition 2D reste l'élément principale de décision pour le praticien.
B - ETAT DE LA TECHNIQUE Certaines techniques de localisation faisant appel à l'acquisition d'images 2D peropératoires sont issues de problèmes posés à l'origine en termes de reconstruction 3D. Il est alors nécessaire de faire l'acquisition d'au moins deux images prises sous des incidences différentes, typiquement 90° entre les deux angles de prise de vue. La localisation est alors réalisée par triangulation ce qui impose la reproduction ou la conservation des mêmes angles de prise de vue pendant toute l'intervention. Il est possible d'avoir recours à des systèmes d'imagerie bi-plans plus coûteux et difficilement conciliables avec un environnement interventionnel standard. Ces systèmes utilisés par exemple en cardiologie le sont de moins en moins actuellement en raison de l'évolution des techniques d'acquisition préopéartoires ou peropératoires (scanner multi-barettes, morphomètre 3D, angiographie rotationnelle). D'une manière générale, une phase de recalage permettant d'estimer la transformation géométrique entre les deux référentiels préopératoire et peropératoire doit être envisagée préalablement à toute localisation. Parmi les travaux connus exploitant des images peropératoires 2D à Rayons X dans un processus de recalage 3D - 2D pour la localisation, très peu font l'hypothèse d'une seule incidence d'acquisition. A la connaissance des inventeurs, les approches actuellement mises à la disposition du public sont celles rappelées brièvement ci-après.
On connaît à travers le document « FELDMAR et al., 3D-2D projective registration of free-form curves and surfaces, Rapport INRIA 2434, 1994. (et Computer Vision and Image Understanding, vol. 65, no. 3, 01/03/1997) », une méthodologie de recalage perspective 3D-2D de courbes et de surfaces gauches. Il s'agit de déterminer la transformation projective (composition d'une transformation rigide et d'une transformation perspective) qui amène un objet 3D sur une image 2D de cet objet. Une première estimée de la transformation est déterminée en utilisant des lignes et des plans bitangents. Une distance entre l'objet 3D (qui peut être constitué de courbes 3D) et l'image 2D est alors définie en considérant les tangentes. Cette distance est minimisée en utilisant une extension de l'algorithme ICP. Des applications possibles sont citées dans le domaine de la radiologie mterventionnelle. Les résultats reportés concernent les structures vasculaires cérébrales dont un volume préopératoire 3D est acquis par un morphomètre (angiographie rotationnelle) et l'image peropératoire 2D est une angiographie. Aucun descriptif ni résultat n'est donné concernant un procédé de localisation éventuel. En effet, la constitution du jeu de données préopératoires 3D que sont par exemple les lignes centrales 3D de l'arbre vasculaire cérébral, très dense topologiquement, à partir d'une méthode de segmentation classique a pour conséquence sur la localisation une non unicité de la solution et pose un problème difficile à résoudre. Dans des publications plus récentes, les auteurs considèrent d'ailleurs une acquisition peropératoire sous deux incidences afin d'améliorer la précision du recalage par leur technique, ce qui permettrait aussi de lever les ambiguïtés pour la localisation. D'autre part, la considération de structures arborescentes simples et peu denses topologiquement risque de rendre difficile la détermination d'une première estimée par lignes et plans bitangents.
Le document « PENNEY G. P., Registration of Tomographic Images to X-ray Projections for Use in Image Guided Interventions, Thèse du King's Collège, London, Décembre 1999 » décrit une méthode de recalage entre une image 3D préopératoire
TDM et une image 2D à rayons X de type fluoroscopie. Le recalage, basé sur les données d'intensité, est réalisé par un procédé exploitant des mesures de similarité (corrélation locale et différence de gradient) entre l'image 2D peropératoire et une vue en niveaux de gris simulée en considérant les structures osseuses. Différentes mesures de similarités sont comparées en considérant un fantôme de structures anatomiques osseuses (rachis lombaire) et des images cliniques de stenting aortique. Les travaux se sont concentrés sur les problèmes de recalage, les problèmes de localisation sont cités dans les perspectives. Sur la base de l'approche présentée, il est envisagé de faire appel à deux vues pour la localisation. Le document de brevet n° FR 9910906 (GE MEDICAL SYSTEMS SA) décrit un procédé de recalage automatique d'images d'angiographie bi et tridimensionnelles, par comparaison de l'image d'angiographie numérique soustraite bidimensionnelle avec des données relatives à une image tridimensionnelle reconstruite à partir de séquences d'angiographie rotationnelle. Selon ce procédé, on estime un champ de distorsions dans l'image, on estime une matrice de projection conique et on effectue une approximation d'une transformation rigide dans l'espace égale à la différence entre un recalage initial basé sur le champ de distorsions et sur la matrice de projection conique et un recalage parfait. Ce procédé basé sur la corrélation d'images de niveaux de gris et sur les flots optiques ne considère pas la segmentation et la caractérisation des structures vasculaires. II ne s'applique qu'à des acquisitions préopératoires 3D réalisées par angiographie rotationnelle et ne traite pas du problème de localisation dans le volume 3D préopératoire. C - OBJECTIFS DE L'INVENTION
L'invention a notamment pour objectif de pallier ces différents inconvénients de l'état de la technique.
L'un des objectifs est de proposer et de mettre en oeuvre des techniques de planification et de guidage de procédures interventionnelles dans des structures anatomiques (angioplastie transluminale, brachythérapie endovasculaire, ...). Même si l'approche de l'invention intègre les grandes composantes du planning interventionnel (caractérisation des données patient, simulation de l'intervention), l'enjeu sur le plan clinique réside dans l'exploitation des données image peropératoires pour l'assistance et le guidage de l'intervention. Il s'agit d'apporter des solutions effectives (essentiellement informatiques) aux problèmes de traçabilité de l'intervention, de fiabilisation et de sécurisation des gestes opératoires, rendus de plus en plus complexes dans les interventions chirurgicales modernes. La démarche, fondée sur l'exploitation quantitative de données multimodales issues de l'imagerie, vise à privilégier la réalisation des gestes accomplis par le spécialiste dans sa pratique quotidienne, à l'opposée d'une démarche orientée robotique qui remplacerait tout ou partie de ces gestes. Toutefois, les résultats obtenus par la présente invention, même si ce n'est pas l'objectif poursuivi initialement, peuvent avoir des retombées dans le domaine de la robotique médicale.
Plus précisément, l'un des objectifs de la présente invention est de fournir un procédé d'assistance et de guidage de navigation d'un outil dans des structures anatomiques arborescentes de type tubulaire, ce procédé pouvant être mis en œuvre avec une acquisition d'images 2D peropératoires effectuée sous une seule incidence. En d'autres termes, l'objectif est de fournir un tel procédé qui ne nécessite aucun calcul de triangulation, ni aucune reconstruction 3D, pour la localisation de l'outil.
L'invention a également pour objectif de fournir un tel procédé permettant de faciliter la planification de l'intervention par le praticien, ainsi que l'intervention elle- même.
Un autre objectif de l'invention est de fournir un tel procédé qui facilite le réglage par le praticien du système d'acquisition d'images 2D peropératoires.
Un objectif complémentaire de l'invention est de fournir un tel procédé ne nécessitant pas l'utilisations de marqueurs artificiels. D - RÉSUMÉ DES CARACTÉRISTIQUES ESSENTIELLES DE L'INVENTION
Ces différents objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints selon l'invention à l'aide d'un procédé d'assistance et de guidage de navigation d'un outil dans des structures anatomiques. Ce procédé comprend : - une phase de planification, comprenant les étapes suivantes : * acquisition d'une image 3D préopératoire, associée à un référentiel 3D préopératoire et dans laquelle apparaissent des premières structures anatomiques arborescentes ; * segmentation desdites premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire, de façon à obtenir un modèle descriptif définissant les branches des premières structures anatomiques arborescentes au moyen de premières primitives 3D ainsi que les relations entre lesdites branches ; une phase d'intervention, comprenant les étapes suivantes :
* acquisition, sous au moins une incidence, d'une séquence temporelle d'images 2D peropératoires associées à un référentiel 2D peropératoire, au moins une desdites images 2D peropératoires, dite au moins une image 2D peropératoire de référence, faisant apparaître lesdites premières structures anatomiques arborescentes ;
* segmentation des premières structures anatomiques arborescentes apparaissant sur ladite au moins une image 2D peropératoire de référence, de façon à obtenir des premières primitives 2D ;
* recalage entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, consistant à déterminer au moins certains des paramètres d'une transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, par minimisation d'au moins un critère de distance entre, d'une part, la projection dans ladite au moins une image 2D peropératoire de référence d'au moins certaines des premières primitives 3D dites premières primitives 3D de recalage et, d'autre part, au moins certaines des premières primitives 2D dites premières primitives 2D de recalage ; * localisation et suivi dudit outil dans ladite image 3D préopératoire, consistant, pour au moins certaines des images 2D peropératoires, en : >- une détection dans l'image 2D peropératoire d'au moins un marqueur présent sur l'outil, >- une fourniture à un praticien d'informations de localisation ponctuelle dudit au moins un marqueur dans l'image 3D préopératoire, indiquant dans l'image 3D préopératoire le point de l'une des premières primitives 3D, dites premières primitives 3D activées, le plus proche de ou situé à l'intersection avec une droite de rétro-projection qui d'une part passe par le point de l'image 2D peropératoire où ledit au moins un marqueur a été détecté et d'autre part est obtenue avec ladite transformation géométrique de type prédéterminé.
La présente invention se situe donc dans le cadre général de la planification et de l'assistance par ordinateur aux interventions, avec pour fondement méthodologique les concepts de la réalité virtuelle restreinte à sa composante imagerie (notamment, mais non exclusivement, basée sur la navigation exploratoire virtuelle).
L'approche de localisation proposée est basée sur l'exploitation des données image, mais le problème n'est pas posé en terme de reconstruction 3D (à partir de plusieurs images 2D prises sous des incidences différentes). La structure 3D est supposée connue, par l'obtention d'un modèle descriptif des structures anatomiques.
Ceci permet d'avoir recours à une seule incidence de prise d'images. Si l'on considère que la phase de planification (planning, et éventuellement simulation) donne suffisamment d'informations sur la géométrie des structures anatomiques 3D concernées, ainsi que sur l'image 2D peropératoire (dans le cas où une simulation virtuelle de l'acquisition 2D est effectuée), l'acquisition de l'image réelle peropératoire
2D sous une seule incidence, sans que ce ne soit un facteur limitatif, permet de résoudre le recalage et la localisation sans imposer de contraintes lourdes à l'acquisition 2D peropératoire réalisée classiquement.
Les primitives activées utilisées lors de l'étape de localisation résultent, par exemple dans le cas d'un arbre dense : soit d'un choix d'un sous-ensemble de primitives (lignes centrales) en phase de planning (avant l'intervention), soit de la mise en oeuvre d'un processus d'activation/désactivation de branches basé sur la localisation contextuelle (voir description ci-après) au cours du déplacement de l'outil (pendant l'intervention) pour éviter les ambiguïtés
(superposition des structures dans l'image 2D).
On notera que les mêmes (premières) structures anatomiques sont ici utilisées pour le recalage et la localisation, même si les primitives (celles de recalage et celles activées pour la localisation) peuvent différer. On notera également que la technique de localisation selon l'invention (fournissant une information de localisation absolue) peut être combinée avec une technique de localisation classique (fournissant une information de localisation relative).
Avantageusement, ladite étape localisation et suivi dudit outil dans ladite image 3D préopératoire, consiste en outre, pour au moins certaines des images 2D peropératoires, en une fourniture au praticien d'informations de localisation contextuelle, indiquant dans l'image 3D préopératoire, à partir dudit modèle descriptif des premières structures anatomiques arborescentes et desdites informations de localisation ponctuelle, la branche dans laquelle se trouve ledit au moins un marqueur détecté.
Ainsi, on effectue une double localisation de l'outil (par localisation d'au moins un marqueur présent sur cet outil), à savoir une localisation ponctuelle et une localisation contextuelle. Les informations correspondant à cette double localisation sont fournies au praticien. Dans un mode de réalisation particulier de l'invention, ledit procédé comprend :
- une phase de planification, comprenant les étapes suivantes :
* acquisition d'une image 3D préopératoire, associée à un référentiel 3D préopératoire et dans laquelle apparaissent des premières structures anatomiques arborescentes et des secondes structures anatomiques, adjacentes à et sensiblement fixes par rapport aux premières structures anatomiques arborescentes ;
* segmentation desdites premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire, de façon à obtenir un modèle descriptif définissant les branches des premières structures anatomiques arborescentes au moyen de premières primitives 3D ainsi que les relations entre lesdites branches ;
* segmentation desdites secondes structures anatomiques apparaissant sur l'image 3D préopératoire, de façon à obtenir des secondes primitives 3D ;
- une phase d'intervention, comprenant les étapes suivantes : * acquisition, sous au moins une incidence, d'une séquence temporelle d'images 2D peropératoires associées à un référentiel 2D peropératoire, au moins une desdites images 2D peropératoires, dite au moins une image 2D peropératoire de référence, faisant apparaître lesdites premières et secondes structures anatomiques arborescentes ;
* segmentation des premières structures anatomiques arborescentes apparaissant sur ladite au moins une image 2D peropératoire de référence, de façon à obtenir des premières primitives 2D ;
* recalage entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, consistant à déterminer au moins certains des paramètres d'une transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, par minimisation d'au moins un critère de distance entre, d'une part, la projection dans ladite au moins une image 2D peropératoire de référence d'au moins certaines des premières primitives 3D dites premières primitives 3D de recalage et, d'autre part, au moins certaines des premières primitives 2D dites premières primitives 2D de recalage ;
* localisation et suivi dudit outil dans ladite image 3D préopératoire, consistant, pour au moins certaines des images 2D peropératoires, en :
>- une détection dans l'image 2D peropératoire d'au moins un marqueur présent sur 1 ' outil , - une fourniture à un praticien d'informations de localisation ponctuelle dudit au moins un marqueur dans l'image 3D préopératoire, indiquant dans l'image 3D préopératoire le point de l'une des secondes primitives 3D, dites secondes primitives 3D activées, le plus proche de ou situé à l'intersection avec une droite de rétro-projection qui d'une part passe par le point de l'image 2D peropératoire où ledit au moins un marqueur a été détecté et d'autre part est obtenue avec ladite transformation géométrique de type prédéterminé.
De cette façon, le recalage est effectué avec les premières structures anatomiques arborescentes, tandis que la localisation de l'outil est effectuée en relation avec les secondes structures anatomiques. Il est clair que les premières et secondes structures anataomiques peuvent être situées sur un même organe ou sur deux organes distincts. Si la nature de ces dernières diffère de celle des premières structures anatomiques (par exemple si elles ne sont ni arborescentes ni tabulaires), les secondes primitives 3D activées peuvent être d'un type (par exemple des surfaces) différent de celui (par exemple des lignes centrales) des premières primitives activées.
Préférentiellement, les premières structures anatomiques arborescentes sont de type tabulaire.
On rappelle qu'une distinction est faite entre les primitives de recalage et les primitives qui doivent être activées pour la localisation. Concernant les premières, l'une des difficultés en recalage 3D/2D, aussi rencontrée en reconstruction 3D à partir de plusieurs vues, se situe au niveau de la correspondance entre les données 3D et 2D. Un point 2D résultant de la projection de plusieurs points 3D sur l'image (pour une même structure anatomique ou en raison de la superposition de différentes structures anatomiques), il en résulte une perte d'information dans l'image 2D qui se traduit par une ambiguïté forte sur la correspondance 3D/2D et donc une mauvaise estimation de la transformation recherchée. Le fait d'exploiter des structures de type tabulaire pour le recalage, et plus précisément des primitives 3D et 2D de recalage qui représentent les lignes centrales de ces structures, permet de lever cette ambiguïté. En effet, une des propriétés remarquables de ce type de structure est que, dans l'idéal et selon une incidence correctement choisie, à un point de la ligne centrale 2D ne correspond qu'un point de la ligne centrale 3D. De par la géométrie des structures considérées la correspondance 3D/2D est mieux définie pour un ensemble non négligeable de points, en l'occurrence les points décrivant les lignes centrales. Ces points apportent d'autant plus de contraintes pour l'estimation de la transformation géométrique (levée des ambiguïtés) qu'ils appartiennent à des structures arborescentes.
Dans un mode de réalisation préférentiel de l'invention, ladite étape de segmentation des premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire est basée sur un processus de navigation exploratoire virtuelle au sein de l'image 3D préopératoire, au cours duquel un processus d'analyse de scène associé à un capteur virtuel permet de construire automatiquement ledit modèle descriptif des premières structures anatomiques arborescentes.
Le processus de navigation exploratoire virtuelle est préférentiellement (mais ce n'est pas impératif) celui décrit dans les articles suivants : [1] HAIGRON P., LE BERRE G., COATRIEUX J.L., 3-D navigation in medicine,
IEEE Engineering in Medicine and Biology, 1996, 15(2) : 70-78. [2] BELLEMARE M.E., HAIGRON P., COATRIEUX J.L., Toward an active three dimensional navigation System in médical imaging, Lecture Notes in Computer Science, Springer Verlag, 1997, 1205 : 337-346. [3] BELLEMARE M.E., HAIGRON P., LUCAS A., COATRIEUX J.L., Depth map based scène analysis for active navigation, SPIE Médical Imaging, Physiology and fonction from multidimensional images, San Diego, Feb. 1999, 3660 : 202-213. [4] ACOSTA O., HAIGRON P., LUCAS A., BELLEMARE M.E., Application of Virtual Endoscopy to the patient-specific planning of endovascular surgical procédures, SPIE Médical Imaging 2001, Physiology and fonction from multidimensional images,
San Diego, Feb.2001, 4321 : 58-69.
[5] ACOSTA O., MOISAN C, HAIGRON P., LUCAS A., Evaluation of Virtual Exploratory Navigation for the Characterization of Stenosis in the Planning of Endovascular Interventions, SPIE Médical Imaging 2002, Physiology and fonction from multidimensional images, San Diego, Feb.2002.
Ces articles décrivent un procédé de navigation exploratoire virtuelle dans des structures anatomiques de nature arborescente et tabulaire à partir d'images volumiques préopératoires (images 3D préopératoires) acquises en conditions cliniques standard et sans prétraitement (TDM, IRM). Dans ce procédé, un capteur virtuel détermine automatiquement un modèle descriptif de la scène inconnue et permet de déterminer la ligne centrale, la surface des structures anatomiques et de caractériser la lésion. Ainsi, les images volumiques préopératoires acquises en routine (scanner X ou IRM) permettent une exploration virtuelle à l'intérieur des structures anatomiques sans la moindre intervention. Le nouveau concept d'endoscopie virtuelle développé par le LTSI (Laboratoire de Traitement du Signal et de l'Image de l'Université de Rennes 1), et exprimé en terme de navigation exploratoire virtuelle, constitue le fondement d'un mode de réalisation préférentiel de l'invention. Au-delà d'une simple visualisation interactive, l'enjeu est ici de produire des images fiables et réalistes et d'élaborer des protocoles cliniques efficaces exploitant au mieux les données. A la différence des systèmes conventionnels qui requièrent un prétraitement de l'image afin de créer un modèle de surface simplifié d'une structure particulière, l'hypothèse forte de l'approche de ce mode de réalisation préférentiel de l'invention (basé sur la navigation exploratoire virtuelle) consiste à ne pas réaliser de pré-segmentation ou de modélisation préalable des structures anatomiques. Au cours de la navigation exploratoire virtuelle, le capteur virtuel construit automatiquement un modèle descriptif (qualitatif et quantitatif) robuste de la scène inconnue à partir de données spécifiques au patient. Ce modèle descriptif peut être utilisé dans une phase de planning pour déterminer précisément les paramètres de l'outil et, comme expliqué en détail par la suite, dans une phase de recalage pour mettre en correspondance les données pré et peropératoires.
La navigation exploratoire virtuelle combine le calcul de l'image de la scène observée ainsi que son analyse au cours du déplacement, afin de définir automatiquement la trajectoire de l'endoscope virtuel. Sans prétraitement du volume discret, la détection de surface, le calcul de l'image, l'analyse de scène et l'estimation de trajectoire sont réalisés au cours de l'exploration virtuelle pour chaque position du capteur.
La morphologie des structures observées est supposée indépendante du facteur temps. L'information volumique, telle que la valeur des voxels, et l'information produite par un processus de lancer de rayons (lors de la formation de l'image endoscopique virtuelle), telle que l'ensemble des points de surface 3D et la carte de profondeur, constituent une information dense.
L'analyse de scène, qui exploite cette information, est utilisée pour guider automatiquement l'endoscope virtuel à l'intérieur du volume préopératoire, et analyser les propriétés topologiques et mesurer les caractéristiques géométriques des structures anatomiques observées. L'analyse de scène s'appuie sur la construction progressive d'une description structurelle globale. Elle est réalisée localement à partir de l'information de profondeur de la scène. Elle repose en particulier sur un échantillonnage adaptatif du volume observé par une séquence de plans (suivant l'axe de visée du capteur), qui sert de support à une représentation structurée des points de surface pour l'estimation des espaces libres et la détection de collision.
Le modèle descriptif des données patient obtenu au cours de la navigation exploratoire virtuelle du volume image préopératoire constitue un outil robuste et opérateur-indépendant pour la caractérisation des structures anatomiques. Il permet en particulier la quantification et l'analyse des lésions vasculaires, ainsi que la planification d'interventions endo vasculaires, en particulier dans les zones sténosées. La navigation exploratoire virtuelle, et plus particulièrement la caractérisation anatomique qui en découle, a été validée sur fantôme, modèle animale et sur patient. Couplé à un outil (ballon, source d'irradiation), avec une anticipation du déplacement et l'analyse préalable des caractéristiques du vaisseau et de ses lésions, la navigation exploratoire virtaelle constitue le support d'un geste assisté par ordinateur.
Dans un mode de réalisation particulier de l'invention, ledit capteur virtuel est basé sur le lancer de rayons et fait intervenir : une projection perspective, préférentiellement complétée par un modèle de distorsions géométriques ; une détection sous voxel de surface de type interpolation trilinéaire et seuillage le long des rayons ; une transformation rigide entre le référentiel lié au capteur virtuel et le référentiel lié à l'image 3D préopératoire ; - un calcul de la valeur des pixels par un modèle d'illumination, préférentiellement le modèle d'illumination de Phong.
De façon avantageuse, ledit processus de navigation exploratoire virtuelle comprend une étape de filtrage de l'image 3D préopératoire, permettant de définir une image 3D préopératoire filtrée selon un algorithme tel que, pour chaque point de l'image du capteur virtuel, on effectue un lancer de rayon et : les voxels qui sont traversés par le rayon et qui appartiennent à la lumière interne de l'une des branches des premières structures anatomiques arborescentes conservent leurs valeurs initiales, et les voxels qui sont traversés par le rayon et qui n'appartiennent pas à la lumière interne de l'une des branches des premières structures anatomiques arborescentes prennent une valeur prédéterminée, préférentiellement nulle.
Ainsi, l'image 3D préopératoire filtrée fait apparaître encore plus clairement les structures anatomiques, et les traitements effectués sur cette image 3D préopératoire filtrée sont optimisés. Dans le cas où l'incidence d'acquisition des images 2D peropératoires par un système d'acquisition 2D peropératoire est définie par un jeu de paramètres de réglage dudit système d'acquisition 2D peropératoire, ladite phase de planification comprend avantageusement en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structures anatomiques arborescentes ; détermination, à partir des images 2D peropératoires simulées, d'une incidence optimale parmi ladite au moins une incidence de test, ladite incidence optimale étant définie par de premières valeurs dudit jeu de paramètres de réglage.
La phase d'intervention comprend en outre l'étape suivante : réglage du système d'acquisition 2D peropératoire en fonction desdites premières valeurs du jeu de paramètres de réglage.
Outre les éléments d'information qu'elle apporte pour la réalisation de la procédure de recalage et de localisation (voir discussion détaillée ci-après de ces autres caractéristiques de l'invention), la simulation de l'acquisition virtuelle permet une planification et ainsi une amélioration de l'image 2D réalisée lors de l'intervention. Les paramètres déterminés en simulation indiquent au praticien comment positionner l'appareil d'acquisition 2D peropératoire et régler l'incidence optimale pour l'observation de la structure anatomique considérée et de la lésion. Cette approche permet ainsi de localiser l'outil à l'intérieur des structures anatomiques, et dans le cas particulier d'une acquisition par rayons X, de limiter les doses de rayons X et la quantité de produit de contraste absorbées par le patient lors de l'acquisition peropératoire par une diminution du nombre d'acquisitions de mise au point rendue possible grâce à la simulation.
De façon avantageuse, dans ladite étape de recalage, on part de valeurs initiales des paramètres de la transformation géométrique de type prédéterminé qui sont fonction desdites premières valeurs du jeu de paramètres de réglage du système d'acquisition 2D peropératoire. Ainsi, l'algorithme effectué au cours de l'étape de recalage (minimisation d'au moins un critère de distance) converge plus rapidement vers les paramètres recherchés, puisque ces derniers sont proches des valeurs initiales choisies.
Selon une caractéristique avantageuse, ladite étape de réglage du système d'acquisition 2D peropératoire, en fonction desdites premières valeurs du jeu de paramètres de réglage, est suivie des étapes suivantes : restitution au praticien, sur ladite au moins une image 2D peropératoire de référence faisant apparaître lesdites premières structures anatomiques arborescentes, de la projection desdites premières primitives 3D de recalage selon lesdites valeurs initiales des paramètres de la transformation géométrique de type prédéterminé ; affinage par le praticien du réglage du système d'acquisition 2D peropératoire, par tentative de superposition, sur ladite au moins une image 2D peropératoire de référence, desdites premières structures anatomiques premières avec ladite projection des premières primitives 3D de recalage. De cette façon, le praticien peut affiner le réglage du système d'acquisition 2D peropératoire et l'algorithme effectué au cours de l'étape de recalage converge encore plus rapidement. Ceci revient à faire effectaer manuellement par le praticien le début de l'étape de recalage.
Avantageusement, ladite phase de planification comprend en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structures anatomiques arborescentes ; - sélection, notamment à partir des images 2D peropératoires simulées, de données à restituer lors d'une étape de conduite de navigation comprise dans la phase d'intervention.
H est clair cependant qu'il peut exister d'autres éléments sur la base desquels la décision de sélection est prise (notamment des éléments liés aux données 3D préopératoires et aux données résultant de la navigation exploratoire virtaelle).
Selon une caractéristique avantageuse, ladite phase de planification comprend en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structures anatomiques arborescentes ; choix, à partir des images 2D peropératoires simulées, desdites premières primitives 3D de recalage qui sont utilisées lors de ladite étape de recalage. De façon avantageuse, ladite phase de planification comprend en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structures anatomiques arborescentes ; - choix, à partir des images 2D peropératoires simulées, desdites premières ou secondes primitives 3D activées qui sont utilisées lors de ladite étape de fourniture au praticien d'informations de localisation ponctuelle dudit au moins un marqueur dans l'image 3D préopératoire. Dans un mode de réalisation avantageux de l'invention, ladite transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire est une combinaison de : au moins une transformation rigide (τsp) entre le référentiel 3D préopératoire et un référentiel 3D rapporté à la source du système d'acquisition 2D peropératoire, ladite au moins une transformation rigide étant définie par des paramètres extrinsèques de rotation et de translation ; au moins une projection perspective (- ) entre le référentiel 3D rapporté à la source du système d'acquisition 2D peropératoire et un repère associé aux images 2D peropératoires, ladite au moins une projection perspective étant définie par des paramètres intrinsèques de projection..
Avantageusement, ladite étape de recalage consiste à déterminer d'une part lesdits paramètres extrinsèques de rotation et de translation, définissant ladite au moins une transformation rigide, et d'autre part lesdits paramètres intrinsèques de projection, définissant ladite au moins une projection perspective.
Selon une première variante avantageuse, ladite étape de recalage consiste à déterminer lesdits paramètres extrinsèques de rotation et de translation, définissant ladite au moins une transformation rigide. Lesdits paramètres intrinsèques de projection, définissant ladite au moins une projection perspective, sont prédéterminés et supposés connus.
Selon une seconde variante avantageuse, l'étape de recalage consiste à déterminer lesdits paramètres extrinsèques de rotation et de translation, définissant ladite au moins une transformation rigide. Ledit procédé comprend en outre une étape de calibrage, pouvant inclure une estimation des distorsions géométriques, et permettant de déterminer lesdits paramètres intrinsèques de projection, définissant ladite au moins une projection perspective.
Dans un premier mode de réalisation particulier de l'invention, ladite phase de planification comprend en outre une étape de sélection de données 3D préopératoires.
Ladite phase d'intervention comprend en outre une étape de conduite de navigation, permettant de restituer au cours de l'intervention les données 3D préopératoires sélectionnées au cours de ladite étape de sélection comprise dans la phase de planification.
De façon préférentielle, ladite étape de sélection de données 3D préopératoires consiste à déterminer une trajectoire virtuelle de l'outil et à sélectionner des données 3D préopératoires associées à ladite trajectoire virtuelle. Ladite étape de conduite de navigation consiste à restituer les données 3D préopératoires sélectionnées, en fonction d'informations relatives à la localisation de l'outil le long de ladite trajectoire virtaelle.
Avantageusement, les informations relatives à la localisation de l'outil le long de ladite trajectoire virtaelle sont fournies de façon interactive par le praticien, au cours de l'intervention.
Selon une variante avantageuse, les informations relatives à la localisation de l'outil le long de ladite trajectoire virtaelle sont fournies automatiquement, en utilisant les résultats de l'étape de localisation et de suivi dudit outil.
Dans un second mode de réalisation particulier de l'invention, ladite phase d'intervention comprend en outre une étape de conduite de navigation, comprenant elle- même les étapes suivantes : estimation d'une trajectoire réelle de l'outil, en utilisant les résultats de l'étape de localisation et de suivi dudit outil ; obtention de données 3D préopératoires associées à ladite trajectoire estimée ; - restitution, au cours de l'intervention et en fonction d'informations relatives à la localisation de l'outil le long de la trajectoire estimée, des données 3D préopératoires obtenues.
Avantageusement, ladite étape de sélection ou d'obtention de données 3D préopératoires s'appuie sur le résultat de l'exécution du processus de navigation exploratoire virtaelle, processus sur lequel est basée ladite étape de segmentation des premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire.
De façon avantageuse, les données 3D préopératoires restituées au cours de l'étape de conduite de navigation appartiennent au groupe comprenant : des images permettant de restituer et interpréter la localisation de l'outil dans l'environnement 3D préopératoire, c'est-à-dire notamment par rapport aux premières ou secondes structures anatomiques ; des images permettant de mieux apprécier localement des caractéristiques des premières ou secondes structures anatomiques et/ou d'une lésion, au for et à mesure de la progression de l'outil ; des alarmes visuelles et/ou sonores.
Dans un mode de réalisation avantageux de l'invention, le procédé selon l'invention comprend en outre une étape de suivi et d'enregistrement d'au moins une information relative à l'exécution dudit procédé.
Avantageusement, ladite au moins une information relative à l'exécution dudit procédé appartient au groupe comprenant : des trajectoires simulées de l'outil ; des images virtuelles associées à des trajectoires simulées de l'outil ; - des paramètres de l'acquisition 2D peropératoire virtuelle ; des paramètres de l'acquisition 2D peropératoire réelle ; des instructions du praticien pendant l'intervention ; des gestes du praticien pendant 1 ' intervention .
Dans un mode de réalisation particulier de l'invention, lesdites premières primitives 3D et 2D et lesdites secondes primitives 3D comprennent au moins un des éléments appartenant au groupe comprenant : des lignes centrales des premières ou secondes structures anatomiques ; des maillages d'au moins une surface interne ou externe des premières ou secondes structures anatomiques. Avantageusement, ladite étape de fourniture au praticien d'informations de localisation dudit au moins un marqueur dans l'image 3D préopératoire comprend une étape d'utilisation des informations de localisation contextuelle pour levée une ambiguïté dans l'obtention des informations de localisation ponctuelle.
De façon avantageuse, ladite étape de fourniture au praticien d'informations de localisation dudit au moins un marqueur dans l'image 3D préopératoire comprend un processus d'activation/desactivation de premières ou secondes primitives 3D en fonction de la trajectoire suivie par ledit outil et/ou d'informations fournies par le praticien.
Ce processus d'activation/desactivation est l'une des façons d'obtenir les primitives 3D activées discutées ci-dessus. Il est par exemple répété de façon cyclique. E - LISTE DES FIGURES
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante d'un mode de réalisation préférentiel de l'invention, donné à titre d'exemple indicatif et non limitatif, et des dessins annexés, dans lesquels : la figure 1 présente un organigramme simplifié d'un mode de réalisation particulier du procédé d'assistance et de guidage selon l'invention ; la figure 2 illustre un exemple d'ensemble de référentiels et de repères utilisés dans la définition, dans le cadre du procédé selon l'invention, d'une transformation géométrique de type projection/rétro-projection entre le référentiel 3D préopératoire et le référentiel 2D peropératoire ; - la figure 3 présente un exemple d'image 2D peropératoire virtaelle (c'est-à-dire simulée) ; la figure 4A présente un exemple d'image 2D peropératoire réelle ; la figure 4B présente un exemple d'image 2D segmentée, contenant un ensemble de primitives 2D obtenues par segmentation des structures anatomiques apparaissant sur l'exemple d'image 2D peropératoire réelle de la figure 4A ; la figure 5 présente un exemple de carte de distance, générée sur l'image 2D segmentée de la figure 4B, et permettant de mesurer la distance entre les primitives 2D et les projections des primitives 3D ; la figure 6 présente un exemple d'image 2D peropératoire, faisant apparaître les structures anatomiques et sur laquelle est restituée la projection des primitives
3D de recalage selon des valeurs initiales des paramètres de la transformation géométrique de type projection/rétro-projection ; la figure 7 présente une vue schématique d'une image 2D peropératoire et d'une image 3D préopératoire correspondante, permettant d'illustrer un exemple de double localisation ponctuelle et contextuelle d'un outil, selon le procédé de l'invention ; la figure 8 présente un exemple de contenu de deux écrans d'affichage au cours d'une opération : un premier écran affichant une vue réelle d'une image 2D peropératoire, dont une vue schématique est représentée dans la partie haute de la figure 7 ; un second écran affichant un ensemble d'informations restituées au cours de l'opération. F - DESCRIPTION D'UN MODE DE RÉALISATION PARTICULIER DE L'INVENTION F-a) Résumé d'un mode de réalisation particulier de l'invention
La présente invention a donc pour objet un procédé d'assistance et de guidage de navigation dans des structares anatomiques arborescentes de type tabulaire. Le procédé selon l'invention peut s'appliquer au système circulatoire ou à différents canaux physiologiques tels que les voies vasculaires, urinaires, digestives ... Dans le cadre des procédures interventionnelles à accès minimal, le procédé de conduite de navigation de l'invention permet de suivre et de localiser précisément des outils (cathéter, sonde, source de brachy thérapie, ballon, stent, effecteurs, capteurs, ...), en relation avec l'acte planifié dans un environnement virtuel constitué à partir d'une image préopératoire 3D et d'en restituer les informations (données segmentées et/ou modélisées) dans l'environnement interventionnel réel par des techniques de type réalité augmentée.
Il s'appuie sur une acquisition 3D préopératoire (TDM, IRM, ...) et l'acquisition sous au moins une incidence d'une image 2D peropératoire faisant apparaître localement les structures anatomiques d'intérêt (image à rayons X avec injection d'un produit de contraste, image d'angiographie par soustraction, ...) sous la forme d'un réseau arborescent peu dense topologiquement.
Dans le mode de réalisation particulier présenté en détail ci-après, le nouveau procédé mis au point exploite les données préopératoires résultant de la caractérisation des structures anatomiques (modèle descriptif des structures anatomiques), réalisée préférentiellement par navigation exploratoire virtaelle, pour : simuler virtuellement l'acquisition d'une image 2D dans un environnement virtuel par une modélisation mathématique précise du système d'acquisition peropératoire ; choisir les structares anatomiques pertinentes et le(s) meilleurs) point(s) de vue pour la mise en correspondance des données préopératoires 3D et peropératoires
2D ; régler le système d'acquisition pendant l'intervention, d'après la superposition des données du planning sur l'image réelle ; réaliser le recalage entre les structures anatomiques 3D préopératoires (segmentées par navigation exploratoire virtaelle) et l'image 2D préopératoire, à partir du modèle du système d'acquisition et d'une carte de distances 2D (par exemple de type « Chamfer matching ») ; localiser l'outil pendant l'intervention par rétro-projection sur les données issues de la navigation exploratoire virtaelle ; - assister et guider la navigation réelle par des données issues du planning ou de l'environnement virtaelle contenant les données 3D préopératoires ; enregistrer les phases de planification et d'intervention pour le suivi postopératoire et la traçabilité de la procédure thérapeutique. On présente maintenant, en relation avec l'organigramme simplifié de la figure 1, un mode de réalisation particulier du procédé d'assistance et de guidage selon l'invention. Dans ce mode de réalisation particulier, on peut distinguer les six composantes principales suivantes (qui sont ensuite décrites successivement en détail) : i. Planning spécifique patient par navigation exploratoire virtuelle. Les données structurées sous la forme d'un volume image discret (image 3D) représentant les structares anatomiques acquises en phase préopératoire (par TDM, IRM, etc) sont caractérisées par un processus de navigation exploratoire virtaelle (a). Etant donné un point de départ et un point cible, un processus d'analyse de scène associé à un capteur virtuel de type optique permet de construire un modèle descriptif de la scène inconnue (image 3D non pré-segmentée) et des structures anatomiques d'intérêt, sous la forme d'un arbre binaire avec étiquetage des branches. Le capteur virtuel peut ainsi déterminer automatiquement sa trajectoire dans l'image volumique préopératoire et l'analyser. A partir de la caractérisation de la structure anatomique et de la lésion (ligne centrale 3D, surface interne de la paroi, caractérisation de la paroi, vue endoscopique virtuelle ...), une estimation des paramètres de l'intervention est réalisée au moyen d'une simulation spécifique patient de la procédure mterventionnelle (planification de trajectoire, dilatation, irradiation, ...). ii. Simulation de l'acquisition 2D peropératoire. En phase de planification du geste, une simulation virtuelle de l'acquisition 2D peropératoire est réalisée à l'aide d'un modèle géométrique réaliste (incluant le phénomène de distorsion) du système d'acquisition considéré (système d'imagerie 2D par Rayons X) et des données issues de la navigation exploratoire virtuelle. Cette phase permet de déterminer virtuellement et interactivement la meilleure incidence pour l'intervention (point de vue optimal pour l'observation de la lésion et pour la procédure de recalage décrite en iii.) et de sélectionner les données à restituer lors de l'intervention. Le choix des primitives 3D pour le recalage est aussi réalisé interactivement (b). Une simulation virtaelle du recalage (iii.) permet de valider le choix des primitives 3D de recalage et d'estimer les paramètres de l'acquisition peropératoire (f). iii. Recalage 3D/2D. Cette étape, qui est une phase d'initialisation à la localisation, concerne la mise en correspondance des référentiels 3D préopératoire (par exemple le référentiel lié à une acquisition TDM) et 2D peropératoire (par exemple le référentiel lié à une acquisition angiographique). Après une estimation du modèle de distorsion dans l'image, une transformation géométrique, incluant une ou plusieurs transformation(s) rigide(s) 3D et une transformation perspective, est identifiée à partir, d'une part, des primitives 3D segmentées lors de la planification
(i.) et retenues dans la simulation de l'acquisition 2D peropératoire (ii.) et, d'autre part, des primitives 2D de recalage extraites à partir de l'image 2D à Rayons X acquise sous une seule incidence (un masque sans moyen de contraste étant acquis consécutivement à l'acquisition des structures anatomiques injectés). A partir des paramètres initiaux de positionnement de l'appareil d'acquisition 2D peropératoire obtenus dans l'étape (ii.) - ces paramètres étant aussi à la base du réglage de l'appareil d'acquisition peropératoire par superposition des données du planning sur l'image 2D peropératoire (b,c,d) - un processus d'optimisation permet d'estimer les modèles de transformation entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, en minimisant (au moins) un critère de distance entre la projection des primitives 3D et les primitives 2D, à partir d'une carte de distance calculée dans le plan image peropératoire (e-f). Une variante de la procédure précitée (qui est basée uniquement sur l'exploitation des structares anatomiques observées dans les images 3D préopératoire et 2D peropératoire) est d'utiliser une mire comportant des points radio-opaques de coordonnées connues. L'acquisition 2D peropératoire est alors réalisée en présence de la mire. Une phase de calibrage permet d'estimer une partie des modèles de transformation. La transformation rigide (3 rotations, 3 translations) entre le référentiel 3D préopératoire et le référentiel 3D associé à l'acquisition peropératoire est alors estimée par la méthode exploitant les structures anatomiques comme décrit précédemment. iv. Localisation et suivi de l'outil. Après la phase d'initialisation à la localisation (recalage 3D/2D, étape iii.) (g), les marqueurs radio-opaques présents sur l'outil sont détectés en temps réel dans les images peropératoires 2D (après évacuation naturelle du produit de contraste dans le système circulatoire) acquises sous la même incidence que celle adoptée lors du recalage (h). Une retro-projection est effectuée afin d'associer à chaque point image détecté, et correspondant à un marqueur radio-opaque sur l'outil, une droite de rétro-projection. L'intersection de chacune de ces droites avec la ligne centrale du vaisseau, ou le calcul du point de la ligne centrale le plus proche de chaque droite de rétro-projection, permet de localiser le point radio-opaque ainsi que l'outil (position, orientation) dans le volume 3D préopératoire (i). Ce processus réalisé pour chacune des images 2D peropératoires acquises, numérisées et traitées à la cadence de plusieurs images par secondes (typiquement 10 à 15) permet de suivre l'évolution de l'outil en temps réel dans le volume préopératoire. v. Conduite de navigation. Il s'agit dans cette étape de restituer les éléments pertinents du planning au cours de l'intervention. La restitution des données 3D préopératoires sélectionnées dans la phase de simulation peut se faire par différents moyens tels que des lunettes HMD (« Head Monted Display ») ou un système multi-écrans sur lesquels apparaissent les images réelles classiquement réalisées lors d'une intervention enrichies des données issues du planning (j). La forme la plus simple est de sélectionner une trajectoire virtuelle, ainsi que les images associées (endoscopie virtaelle, coupes reformatées, images mixtes avec codage de couleur indiquant la nature des différents tissus composant la lésion ...), et de les afficher au cours de l'intervention. Dans ce cas, la localisation est approximée et définie interactivement par l'utilisateur au cours de l'intervention. La forme la plus élaborée de cette conduite de navigation par réalité augmentée consiste à utiliser les résultats de l'étape (iv) pour sélectionner l'image virtuelle issue de la navigation exploratoire virtaelle dans une séquence pré-enregistrée dans la phase de simulation (ii). Selon encore une autre variante, on détermine la trajectoire et on calcule les images virtuelles associées dans le volume préopératoire en fonction de la trajectoire réellement suivie par l'outil. Outre la restitution visuelle des données (k), des alarmes sonores peuvent aussi être utilisées pour indiquer une cible ou un écart trop important par rapport à la localisation ou la trajectoire idéale définie en simulation. vi. Suivi et emegistrement numérique de la procédure. La trajectoire idéale simulée, les images virtuelles associées, les paramètres de l'acquisition virtaelle et réelle, les instructions et les gestes du praticien, plus particulièrement durant les phases décisives de l'intervention, etc., sont enregistrées (1) afin de constituer une boîte noire de l'intervention, de servir de base à des études de suivi postopératoire de l'intervention et de l'évolution de la lésion, et de constituer un ensemble de cas de référence pour de futures interventions. F-h) Description détaillée d'un mode de réalisation particulier de l'invention
La description des différentes composantes principales -i- à -vi- précitées, ainsi que du fonctionnement du procédé selon la présente invention, est reprise de manière détaillée dans la suite. Les problèmes de recalage (§iii), de localisation (§iv) et de conduite de navigation (§v) sont décrits en prenant comme illustration un domaine d'application particulier : l'assistance et le guidage de la navigation dans des structures vasculaires. -i- Planning spécifique patient par navigation exploratoire virtuelle
Cette étape concerne principalement la caractérisation des données anatomiques 3D issues de l'imagerie pré-opératoire (TDM, IRM). Elle est fondée sur le concept de navigation exploratoire virtuelle dans un volume image acquis en conditions cliniques. A la différence des systèmes conventionnels, qui requièrent une pré- segmentation du volume afin de créer un modèle de surface simplifié d'une structure particulière, l'hypothèse forte de la présente approche consiste à ne pas réaliser de prétraitement ou de modélisation préalable des structares anatomiques. Le système proposé est capable de surmonter les difficultés inhérentes au domaine d'application et liées aux structures de formes libres de très petite taille, à la différence de résolution entre la scène observée (volume image préopératoire) et l'image 2D du capteur virtaelle, à la détection robuste des surfaces anatomiques, à la présence de bifurcations (conduisant à de multiples trajectoires candidates) et au guidage de la navigation par l'image. Dans l'exemple discuté ci-après à titre illustratif et non limitatif, on suppose que ce système se limite à un seul mode de perception, la vision, et à un seul type d'interaction physique, la détection de collision. La morphologie des structures observées est supposée indépendante du facteur temps.
Un capteur virtuel de type optique est modélisé afin d'explorer un volume image non pré-segmenté. Le modèle de ce capteur, basé sur le lancer de rayons, fait intervenir :
(a) une projection perspective, qui associe à tout point du plan image virtuelle un rayon passant par le centre optique dans le volume discret où la distance focale permet de déterminer le champ de vision, complétée par un modèle de distorsions géométriques ;
(b) une détection sous voxel de surface de type interpolation trilinéaire et seuillage le long des rayons ; (c) une transformation rigide (rotation, translation) entre le référentiel lié au capteur virtuel et le référentiel lié au volume image discret ;
(d) un calcul de la valeur des pixels par le modèle d'illumination de Phong.
Deux modes de fonctionnements sont distingués. Dans un mode interactif, l'utilisateur définit les paramètres du capteur (position, orientation, focale) et par là même un certain nombre de points de passage de la trajectoire. La trajectoire interpolée peut ensuite être reproduite en temps réel différé. Dans un autre mode dit actif, l'utilisateur définit un point de départ et un point d'arrivée, le capteur virtuel explore alors automatiquement dans les structares anatomiques. La navigation active combine ainsi le calcul de l'image virtuelle de la scène observée, ainsi que son analyse au cours du déplacement, afin de définir automatiquement la trajectoire de l'endoscope virtuel. Sans pré-traitement du volume discret, la détection de surface, le calcul de l'image, l'analyse de scène et l'estimation de trajectoire sont réalisés au cours de l'exploration virtaelle pour chaque position du capteur. L'information volumique, telle que la valeur des voxels, et l'information produite par le lancer de rayon (lors de la formation de l'image endoscopique virtaelle), telle que l'ensemble des points de surface 3D et la carte de profondeur, constituent une information dense. L'analyse de scène, qui exploite cette information (voir article référencé [3] plus haut), est utilisée pour guider automatiquement l'endoscope virtuel à l'intérieur du volume, analyser les propriétés topologiques et mesurer les caractéristiques géométriques des structares anatomiques observées. L'analyse de scène s'appuie sur la construction progressive d'une description structurelle globale, sous forme d'un arbre binaire dans lequel les nœuds représentent des points de séparation entre les segments vasculaires et les feuilles caractérisent des maxima de profondeurs. Cette analyse est réalisée localement à partir de l'information de profondeur de la scène.
Elle repose en particulier sur un échantillonnage adaptatif du volume observé par une séquence de plans (suivant l'axe de visée du capteur), qui sert de support à une représentation structurée des points de surface pour l'estimation des espaces libres et la détection de collision. Une détermination automatique du maillage surfacique de la surface interne du vaisseau est réalisée à partir des points de surface détectés au cours de la navigation. Le lancer de rayons permet de maîtriser la répartition des points de surface. Un maillage polygonal est construit en considérant un certain nombre de points de surface répartis de manière structurée pour une image I, (position P; du capteur virtuel) et associés aux points de surface correspondants pour une image Ii+ι (position Pi+ι du capteur virtuel).
D'autre part, la paroi est caractérisée au cours de la navigation par analyse locale de la valeur des voxels (densité dans le cas d'une imagerie TDM) dans un plan orthogonal à la trajectoire suivie. Au-delà de la lumière interne de la structure anatomique considérée, des régions de valeurs homogènes sont formées afin de mettre en évidence, par un codage en échelle de couleur, les différentes classes de valeurs des voxels et de caractériser la nature de la paroi et de la lésion (hyperplasie myointimale, plaque d'athérome, ...). Une image mixte intégrant une vue endoscopique virtaelle de la lumière interne et une caractérisation de la densité hors de cette lumière interne peut ainsi être produite pour chaque position le long de la ligne centrale de la structure anatomique considérée.
Le capteur virtuel construit ainsi automatiquement un modèle de description (qualitative et quantitative) de la scène inconnue. Ce modèle descriptif des données patient pré-opératoires obtenu au cours de l'exploration virtuelle du volume image constitue un outil robuste et opérateur-indépendant pour la caractérisation des structures anatomiques (topologie, géométrie, qualité pariétale). ii. Modélisation et Simulation Virtuelle de l'acquisition peropératoire ii.a. Données préopératoires 3D
Les structures segmentées 3D sont quant à elles issues du système de navigation exploratoire virtuelle décrit précédemment. Elles se composent des lignes centrales
(trajectoire suivie par le capteur virtuel) ainsi que du maillage de la surface interne des structares anatomiques. De plus, la délimitation du produit de contraste (injecté lors de l'acquisition préopératoire) par la surface détectée par navigation exploratoire virtaelle permet d'identifier les voxels appartenant à la lumière interne du vaisseau. On définit alors un nouveau volume image préopératoire Volp, à partir du volume image initial Vol; selon l'algorithme suivant :
Initialisation :
Position du capteur virtuelle = position initiale
Pas de déplacement du capteur virtuel = 0,1 (exprimé en voxel)
Tant que position ≠ position finale
{
Pour chaque point de l'image du capteur virtuel
{ associer un rayon, position le long du rayon = début du rayon Pour chaque point du rayon
{
Si point courant de valeur Vol; (i j Je) E lumière interne, alors VoL/i jjk) = Vol; (i j,k), Sinon Vo /i j,k) = 0, } } Position = Position + déplacement
} ii.b. Transformations géométriques
La transformation entre le référentiel 3D préopératoire et le référentiel 2D peropératoire fait intervenir principalement deux classes de transformations : une ou des transformations rigides 3D et une transformation perspective.
D'une manière générale, si l'on considère un référentiel 9ta(C, X, Y, Z) on définit à l'aide de la matrice 3x3 RXα (respectivement Rγ(î, RZy) une rotation d'angle α (respectivement β, γ) autour de l'axe CX (respectivement CY, CZ), et par Tx (respectivement TY, Tz) une translation suivant l'axe CX (respectivement CY, CZ). Si l'on considère un deuxième référentiel [ftb(C\ X', Y', Z'), une transformation rigide 3D τba est alors définie par une relation faisant intervenir un ensemble de 6 paramètres E(TX, Tγ, Tz, oc, β, γ) où Tx, TY, Tz sont les 3 paramètres de translation et α, β, γ les 3 angles d'Euler
+ T, avec Raβ = Rχa -RΥβ -RZ et T
Figure imgf000034_0004
soit encore ba
^ → ^ <* (D
Figure imgf000034_0005
où la transformation rigide entre les référentiels 3ta et -Hb est exprimée par la matrice de transformation Mba dans un système de coordonnées homogènes.
De la même façon, il est possible d'exprimer dans un système de coordonnées homogènes la projection perspective d'un point exprimé dans un référentiel 3D d\b(C X', Y', Z') en un point exprimé dans un repère image 2D Oîc(c, i, j) dans lequel i et j désignent les coordonnées image discrétisées (pour un pixel de taille t;, tj). En considérant que le plan image est parallèle au plan (C, X', Y') et sitaé à une distance f le long de l'axe CZ' du centre de projection C et que l'intersection de l'axe CZ' avec le plan image a pour coordonnées (i0, jc), la projection perspective peut s'exprimer, au facteur d'échelle k près, par la relation matricielle suivante :
3t„ '8t„ et Ft ≈ fftt, Fj ≈ f/tj
Figure imgf000034_0002
Lorsque l'on considère la transformation entre le référentiel 3D 9îa(C, X, Y, Z) et le référentiel 2D -Hc(c, i, j) - on parle alors de transformation perspective - la relation matricielle exprimée dans un système de coordonnées homogènes s'écrit de la façon suivante :
Sft„ →St,. K-M ba (2)
Figure imgf000034_0003
où P est la matrice de transformation perspective définie à un facteur d'échelle près qui peut être normalisé à 1. Cette transformation fait intervenir un ensemble de 10 paramètres qui se décompose en un ensemble de 6 paramètres extrinsèques E(TX, Tγ, Tz, α, β, γ) et un ensemble de 4 paramètres intrinsèques I(Fi5 Fj9 ic, jj. La modélisation géométrique du système d'acquisition peropératoire nécessite la distinction et la spécification d'un certain nombre de référentiels intermédiaires, même si les transformations impliquées peuvent ne plus apparaître explicitement dans la stratégie de recalage finale en raison des compositions effectuées à des fins de simplification. Afin de définir au mieux les différentes transformations géométriques et d'avoir accès aux paramètres réellement ajustables par le praticien, les référentiels retenus sont les suivants (figure 2):
• (Rp(P, x p , yp, zp) : Référentiel 3D préopératoire associé au volume image préopératoire. Il est fixé lors de l'acquisition et/ou peut être modifié en début et en cours de traitement. C'est dans ce référentiel que devra être effectuée la localisation. Ce référentiel est aussi le référentiel de base pour la constitution de l'environnement virtuel de simulation et de planification de l'intervention.
• ^ R, xr, yr, zr) : Référentiel 3D de l'environnement réel lié à l'installation effective du patient pendant l'intervention. Le terme utilisé classiquement est plutôt monde réel. Nous employons ici le terme environnement réel par analogie à l'environnement virtuel qui concerne la planification préopératoire, ces deux environnements devant être mis en correspondance lors de la localisation et par conséquent lors de la conduite de navigation et du guidage par réalité augmentée.
• #tA(A, xa, ya, za) : Référentiel 3D réel lié au système d'acquisition peropératoire 2D. Il est centré sur l'isocentre A du système d'acquisition. C'est en agissant sur la transformation rigide 3D entre ce référentiel et le référentiel 9lR(R, xr, yr, zr) que le praticien effectue le réglage des paramètres de rotation et de translation du système d'acquisition.
• 8ts(S, xs, ys, zs) : Référentiel 3D rapporté à la source d'émission des rayons X. S correspond au centre de la projection perspective (équivalent à un centre optique). L'axe (S, zs) est confondu avec l'axe principal de la projection perspective (équivalent à l'axe optique).
• ïd0(0, , y) : Repère image 2D peropéraoire. Le point O correspond à l'intersection de l'axe principal avec le plan image. Les axes Ox et Oy sont respectivement parallèles aux axes Axa et Aya ainsi qu'aux axes Sxs et Sys.
• fftι I, u, v) : Repère associé à l'image 2D peropératoire discrétisée. Il permet de repérer les positions de pixels de l'image 2D peropératoire par des coordonnées entières suivant une convention matricielle.
L'objectif étant de localiser dans le volume préopératoire l'outil délimité par des points radio-opaques (par exemple un ballonnet délimité par deux points radio-opaques, une endoprothèse, ou tout autre outil) sur l'image peropératoire 2D, il s'agit de définir le modèle de la transformation géométrique entre les référentiels 3D préopératoires et 2D peropératoires par projection, et inversement par rétroprojection. Cette transformation résulte physiquement des différentes transformations décrites dans la suite. 1) Xgp, une transformation rigide 3D entre le référentiel 3D préopératoire SftP associé à l'environnement virtuel et le référentiel 3D peropératoire 0tR associé à l'environnement réel. Elle peut s'exprimer suivant l'équation (1) par une matrice de transformation MRP définissant une translation et une rotation 3D de paramètres (T^, nnées homogènes :
Figure imgf000036_0001
Cette transformation amène les points du volume préopératoire à leurs correspondants dans l'espace peropératoire. Elle traduit en particulier le « bougé » dû aux différences d'installation du patient entre les acquisitions préopératoire et peropératoire. Dans la cas où un référentiel particulier est imposé au niveau de l'espace peropératoire, par une mire de calibrage non solidaire du système d'acquisition et disposée dans l'espace opératoire par exemple, la transformation intègre aussi la différence de choix des référentiels par rapport aux structures anatomiques. Ces structures sont supposées, par hypothèse, ne subir que très peu de déformations entre les acquisitions pré- et peropératoires, si bien que celles-ci sont négligées et que la transformation recherchée est rigide. Pour certaines localisations ou structures anatomiques (les artères carotides exemple), cette hypothèse reste valable si la région anatomique considérée (dans l'exemple le cou) ne subit pas de déformations entre l'acquisition préopératoire et l'acquisition peropératoire. Cette condition peut être respectée en utilisant un dispositif de contention simple et non invasif, le plan d'installation du patient tenant déjà en partie ce rôle, pour reproduire l'installation du patient (au sens des déformations) entre les deux phases d'acquisition. 2) tSR , une transformation rigide 3D entre le référentiel 3D de l'environnement réel -ftR et le référentiel 3D rapporté à la source du système d'acquisition ÎSts. Elle peut s'exprimer suivant l'équation (1) par une matrice de transformation MSR définissant une translation et une rotation 3D de paramètres (Txsr, Tysr, Tœr, θxsr, θysr, θpsr) dans un système de coordonnées homogènes :
St, • 31. (4)
Figure imgf000037_0001
Cette transformation peut être intégrée dans le modèle de transformation perspective décrit ci- après. Elle concerne alors les paramètres extrinsèques du système d'acquisition (position, orientation dans l'environnement réel). Elle permet de mettre en évidence une décomposition supplémentaire, c'est-à-dire une combinaison de deux transformations qui concernent respectivement le passage du référentiel 0tR au référentiel 3D du système d'acquisition 8tA (transformation r^) et le passage de ce référentiel 8tA au référentiel rapporté à la source 9t s (transformation τSA). On a alors suivant la convention adoptée :
$K. • St, (5)
Figure imgf000037_0002
3Î* → %ï £ (6)
Figure imgf000037_0003
et donc MSR = MSA • MM (1)
Les ensembles de paramètres considérés sont alors respectivement (T^, Tyar, Tw, θ xar, θyar, θpar) et (Txsa, Tysa, Tzsa, θ xsa, θysa, θpsa) pour les transformations t^ et tSA. Le fait d'introduire explicitement la transformation x dans l'environnement de simulation virtuelle permet de faire apparaître les paramètres effectivement réglables par le praticien dans l'environnement interventionnel réel. Ceci assure une cohérences des paramètres ajustables dans les environnements réels et virtuels, même si la transformation τm n'est pas précisément connue dans l'environnement réel puisqu'elle fait partie des inconnues du problème. Elle peut être estimée dans une phase de calibrage préliminaire ou bien, après combinaison avec les autres transformations, être intégrée dans l'espace de recherche des paramètres (cf. stratégies de recalage), la transformation tj-p étant dans tous les cas inconnue.
3) τm, une transformation de type transformation perspective, qui amène les points exprimés dans le référentiel peropératoire 9tR en leurs correspondants sur l'image 2D. Le modèle d'un capteur d'image 2D tel qu'un système d'acquisition à Rayons X pour l'intervention (scopie ou encore « C-arm ») peut en effet être approximé par une transformation perspective complétée éventuellement par un modèle de distorsions géométriques. Il est aussi possible d'utiliser une représentation mathématique de type modèle multi-plans qui ne fait pas l'approximation d'un centre unique de projection, une correspondance entre ces deux modèle pouvant être établie. Selon la relation (2), la transformation perspective inclut la projection perspective et la transformation τSR de la façon suivante :
**• k - avec K ≈ dllv (8)
Figure imgf000038_0001
Figure imgf000038_0002
Sta →St, avec P = K -M SR (9)
Figure imgf000038_0003
où P est la matrice de transformation perspective définie à un facteur d'échelle k près qui peut être normalisé à 1. Cette transformation fait intervenir un ensemble de 10 paramètres qui se décompose en un ensemble de 6 paramètres extrinsèques E(Txsr, Tysr,
Ta,,-' θs.> θysr> Θpsr) et un ensemble de 4 paramètres intrinsèques I(FU, Fv, u0, v0) avec (u0, v0) les coordonnées image du point d'intersection O entre l'axe (SO) et le plan image,
(lu, lv) la taille du pixel, et dJpO la distance source - détecteur (équivalente à la distance focale).
Dans le cas où le système d'acquisition présente des distorsions géométriques, il est nécessaire d'introduire dés termes correctifs sur les coordonnées images u, v afin de modéliser ce phénomène. En considérant des phénomènes de distorsion radiale et tangentielle, les coordonnées effectivement observées dans le plan image numérique, c'est-à-dire les coordonnées avec distorsions ud, vd, s'expriment en fonction des coordonnées idéales sans distorsion u, v par les expressions suivantes : ud=u + Au, vd≈v + Δv,
Au=dru+dtu+dau, Av≈d„+dtv+dav, d m =uc-(k -r2 +k2-r +h, τ6 +•••), d„ =vc •( , -r2 +k2 -X + k3 -X +•••), dtu≈ + 2-w2) + 2-*2 -uc -vc, d^-tz -(r2 + 2-v ) + 2-tι -uc-vc, (10) da d„, ≈ fl„ où W„ ≈ U -U v„ = v - vΛ et r2=«2+v2 La transformation perspective exprimée par le produit matriciel (9) est en fait une linéarisation du modèle, la transformation qui fait intervenir explicitement les paramètres physiques pouvant toujours être exprimée à partir des équations matricielles (3) - (9) dans la phase d'estimation des paramètres réels du système d'acquisition. Cette linéarisation du modèle au moyen de la matrice de transformation perspective en particulier, permet une inversion directe de ce modèle, et autorise ainsi une rétroprojection peu coûteuse en temps de calcul. ii.c. Image peropératoire virtuelle
Dans la définition donnée par les relations (3) - (10), et connaissant les valeurs des différents paramètres, le passage d'un point exprimé dans le référentiel 3D préopératoire dïF à un point projeté dans le référentiel 2D peropératoire Sïlj se fait directement par application respective des différentes transformations. Dans la phase de simulation, les différents paramètres prennent soit des valeurs typiques rencontrées sur le systèmes d'acquisition réel, soit des valeurs fixées interactivement par l'utilisateur. Il est alors possible de projeter des lignes centrales 3D ou des points de surfaces pour simuler l'ensemble des transformations et créer ainsi une image 2D peropératoire virtuelle. La transformation s'exprime alors par la transformation suivante :
9tp — 3t7 ud ≈ u + Au, vd ≈ v + Δv avec V ≈ K - MVA - M l ARR- - M l RP (H)
Figure imgf000040_0001
Le fait de décomposer la transformation V et de privilégier dans la définition du modèle une transformation de type projection plutôt que rétro-projection permet à l'utilisateur de renseigner les paramètres interactivement et intuitivement, de la manière dont il le ferait sur le système réel. Il est à noter toutefois que ce modèle peut être inversé tant dans sa définition que par résolution numérique. Les paramètres de distorsions géométriques sont fixés à des valeurs typiques (valeurs moyennes communément rencontrées sur le système d'acquisition considéré). En raison de la faible différence d'installation du patient entre l'acquisition préopératoire et l'acquisition peropératoire (la table supportant le patient agissant pour certains degrés de liberté comme un dispositif de contention) les paramètres (T^, T^, Tzrp, θ ^ θ^, θZφ) de la transformation T^ sont posés à zéro par défaut. Les paramètres (TŒ! Tyar, Tzar, θ xar, θyar, θzar) de la transformation t^ entre les référentiels 9tR et 9tA sont définis interactivement par l'utilisateur. Dans cette phase de simulation, les transformations tSA et tjg, entre les référentiels 9ts et 0tA, et Stj et 9ts respectivement, sont complètement définies à partir des distances source - isocentre ( S ) et source - plan image ( p>I ), ainsi que des paramètres intrinsèques du système d'acquisition qui sont approximativement connus pour un dispositif donné.
Pour plus de réalisme, le calcul de l'image peropératoire virtuelle ne se limite pas à la projection de courbes ou de surfaces matérialisées par des points 3D, mais consiste à projeter sur le plan image le volume préopératoire Volp suivant la transformation exprimée par l'équation (11). Deux modes de projection peuvent être réalisés, un mode radio qui consiste à affecter à chaque pixel de l'image virtuelle la somme des valeurs de voxel le long de la droite de projection associée, ou un mode MIP qui consiste à affecter à chaque pixel de l'image virtuelle la valeur maximale rencontrée le long de la droite de projection associée. Il ne s'agit donc pas ici d'une simple projection d'un point 3D sur un plan 2D.
La démarche consistant à déterminer dans un premier temps la droite de projection associée au point image considéré, il est nécessaire d'inverser le modèle de projection pour effectuer la rétro-projection. Dans le cas général, c'est-à-dire lorsque les distorsions géométriques ne sont pas négligées, une droite de projection dans l'espace 3D préopératoire doit être associée à tout point image de coordonnées ud, vd. Plusieurs solutions peuvent être adoptées. La formulation (10) qui exprime les coordonnées image avec distorsion en fonction des coordonnées image sans distorsion est similaire à celle d'un modèle (bi-) polynomial dont les coefficients seraient fonction de la combinaison des paramètres de distorsion exprimés précédemment. Les propriétés d'inversion des séries permettent alors d'exprimer les coordonnées sans distorsion à partir des coordonnées avec distorsions. Le modèle des distorsions géométriques (10) étant connu, ou supposé connu dans cette étape, une autre solution consiste à définir une table de correspondance (LUT) de la taille de l'image qui exprime les coordonnées sans distorsion à partir des coordonnées avec distorsions : u = LUTu(ud,vd ) v ≈ LUTv(ud,vd ) avec 0 ≤ ud < N, 0 ≤ vd < M, pour une image de taille N x M
Le calcul des valeurs de chaque point des tables LUTU et LUTV peut être réalisé, à partir d'un nombre limité de paires de points associés {(ud, vd) ; (u, v)} données par
(10) ou directement à partir des données d'une mire et de l'image associée, au moyen de fonctions d'interpolation de type polynomiales, B-splines ou plaques minces ... Quelle que soit la solution adoptée, il est possible d'exprimer de manière classique les coordonnées sans distorsion à partir des coordonnées avec distorsion sous la forme suivante : u ≈ C01 {ud,vd) v ≈ CORv(ud,vd) (12) où COR désigne soit une table de correspondance (LUT), une fonction d'interpolation ou un modèle de correction des distorsions. A partir de la relation matricielle (11) et en notant πiy (i = 1 à 3, j = 1 à 4) les composantes de la matrice V, l'équation de la droite de projection associée au point image sans distorsion u, v, et par conséquent au point image avec distorsions correspondant de coordonnées ud, vd, s'exprime de la façon suivante : (mn - m31 -u}x + (ml2 - m32 -u}y + (ml3 - m33 -u}z + l4 = m3Λ - (m21 - m -v}x+ (m22 - m32 -v}y + (m23 - m33 - v} z + m2 = m34 • v
L'expression (13) définit dans le référentiel 3D préopératoire la droite de projection passant par le centre de projection S et le point image considéré. Le volume image Volp(i j ) contenant les structures anatomiques segmentées dans le référentiel 3D préopératoire est connu d'après l'algorithme décrit ci-dessus en ii.a. Les coordonnées i jc correspondent à une discrétisation des coordonnées x, y, z dans le référentiel 3D préopératoire. La sommation des valeurs de voxel interpolées ou la détection de la valeur maximale du voxel interpolée le long de la droite de projection associée à chaque pixel de coordonnées ud, vd, permet alors de générer simplement l'image 2D virtaelle peropératoire (figure 3) . ii.d. Contrôle interactif des paramètres
Les paramètres du modèle sont réglés interactivement par l'utilisateur. Pour cela, il dispose d'une interface graphique qui lui permet d'agir sur le système d'acquisition, ainsi que sur les caractéristiques anatomiques à retenir pour effectuer le recalage. L'interface constitue la partie interactive de l'environnement virtuel à partir duquel l'utilisateur peut simuler, entre autre, la partie acquisition de l'intervention. En réglant virtuellement les paramètres d'acquisition, de la même manière qu'il le fait dans la réalité, l'utilisateur peut choisir le meilleur réglage, pour générer l'image peropératoire 2D et faire apparaître la lésion sous la meilleure incidence.
L'image 2D virtaelle ainsi que les paramètres d'acquisitions associés étant déterminés, il peut alors sélectionner dans les données préopératoires 3D segmentées les structares anatomiques qui lui semblent pertinentes (choix des primitives de recalage), afin de tester la procédure de recalage décrite dans la suite. Dans le cas où le résultat du recalage n'est pas satisfaisant (mauvaise précision par exemple), il peut reconsidérer les choix effectués et relancer la procédure plusieurs fois afin de sélectionner la meilleure configuration. Pour une incidence et un ensemble de caractéristiques anatomiques données, il est possible de lancer un ensemble de tests de recalage à partir de conditions initiales sur les paramètres recherchés lors de l'intervention (par exemple T^, T^., T^, θ j^p, θyrp, θ^) qui s'écartent, dans une plage réglable par l'utilisateur, des valeurs fixées par défaut lors de la simulation de l'image virtuelle. Ceci permet d'anticiper des problèmes de recalage éventaels qui pourraient se produire si le réglage effectif de l'appareil d'acquisition peropératoire 2D (dans l'environnement interventionnel réel) s'avérait trop éloigné de ce qui était prévu lors de la simulation virtuelle.
Cette simulation réalisée au moyen de l'environnement virtuel permet au praticien de sélectionner les paramètres optimaux pour l'acquisition et le recalage qu'il cherchera à reproduire lors de l'intervention réelle. iii. Recalage du référentiel pré-opératoire 3D et du référentiel per-opératoire
2D
La mise en correspondance des données du planning et de l'imagerie mterventionnelle se traduit essentiellement par le recalage : - de données préopératoires 3D extraites d'un volume image discrétisé (TDM par exemple) et de données peropératoires 2D extraites d'une image projective par Rayons X acquise sous une seule incidence.
La méthode proposée est basée sur : (a) la modélisation fine du système d'acquisition décrite précédemment ;
(b) l'exploitation des structares anatomiques segmentées afin de créer des primitives 3D et 2D (extraction des lignes centrales 3D et 2D) et une carte de distances dans le plan image ;
(c) l'estimation précise des paramètres de la transformation 3D/2D par un algorithme d'optimisation qui cherche à minimiser la distance entre la projection de la structure anatomique 3D segmentée (donnée par navigation exploratoire virtuelle dans le volume image préopératoire) et la ligne centrale extraite de l'image 2D acquise pendant l'intervention. ϋi.a. Données peropératoires 2D La segmentation est un problème de traitement d'images à part entière qui ne constitue pas ici le cœur de la méthode proposée, même si le résultat de la segmentation conditionne pour partie celui du recalage.
Ainsi, la phase de segmentation de l'image peropératoire 2D ne fait pas appel à des techniques sophistiquées, mais seulement aux fonctions de base de traitement d'images. Dans le cas des structures vasculaires par exemple, celles-ci permettent de dégager des structares segmentées de qualité satisfaisante sur des données réelles d'angiographie. Les données à segmenter sont des images standard d'artères, dans lesquelles du produit de contraste a été injecté afin qu'elles apparaissent à l'angiographie peropératoire (image 2D peropératoire de référence). On dispose également de la même vue des artères cette fois non injectées. Ce masque permet d'obtenir par soustraction une image des structares vasculaires injectées assez peu bruitée (figure 4A sur laquelle des fonctions de segmentation sont appliquées.
Sur cette image de soustraction, l'application d'une fonction de seuillage donne une structure binarisée dont sont extraites, après squelettisation, les lignes (primitives
2D) considérées comme les lignes centrales des artères projetées (figure 4B^ . L'extraction des contours des artères segmentées peut aussi être réalisée. Cependant, le choix des primitives de recalage s'est porté sur les lignes centrales des vaisseaux qui semblent à première vue moins porteuses d'erreurs de segmentation. De plus, ce choix semble assez naturel quand il s'agit de structures de type tabulaire, l'hypothèse sous- jacente étant que la projection des lignes centrales 3D des structures anatomiques coïncide avec les lignes centrales 2D extraites des images peropératoires. iii.b. Distance
Une carte de distance 2D est utilisée afin de mesurer, sans recherche explicite de correspondances points à points, la distance entre les lignes 2D segmentées et les lignes
3D projetées selon la transformation courante. Cette carte de distances est générée sur l'image 2D segmentée en utilisant un opérateur de type Chamfer. C'est un opérateur proche d'un filtre, qui s'applique sur l'image en la parcourant dans un sens puis dans le sens inverse et qui crée une image dont la valeur des pixels est d'autant plus grande que la distance de ce pixel aux lignes segmentées est grande. Les lignes centrales 3D (primitives 3D de recalage) étant discrétisées, elles sont décrites par un ensemble fini de points. La projection de chacun des points de cet ensemble sur la carte de distance (figure 5) donne une valeur de distance qui traduit l'erreur entre les lignes 2D et le projeté du point 3D. Pour estimer l'erreur de l'ensemble des points 3D, on calcule une fonction de distance d'ensemble qu'on a choisi égale à la somme des carrés des distances de chaque point. Soit W l'ensemble des points w} 3D décrivant les lignes centrales, τ la transformation géométrique estimée qui projette les points w; sur la carte de distance 2D en q}
Figure imgf000045_0001
et dist(q;) la valeur donnée par la carte de distance en ce point, la fonction de distance E des lignes centrales 3D projetées à la ligne centrale 2D s'écrit formellement :
Figure imgf000045_0002
iii.c. Optimisation
L'algorithme utilisé est un algorithme de type énumératif. A partir d'un jeu de paramètres initiaux, il recherche de façon quasi-exhaustive le minimum local. Dans un soucis de simplification, le comportement de l'algorithme est décrit en considérant un jeu de deux paramètres. Partant de la position initiale D (pw,p2z>) , on fixe le paramètre ρ2 et on cherche sur l'axe du paramètre pi dans un voisinage de A la meilleure transformation. On obtient ainsi le point (PWPID) - Ensuite on fixe pj à pm , et on trouve le point minimum dans la direction p2, soit (pw<,p2D>). Le fait de faire varier les paramètres en fixant les autres réduit le temps de calcul et fait que la complexité de l'algorithme est linéaire vis-à-vis du nombre de paramètres. L'opération est répétée jusqu'à trouver le minimum local M. Pour trouver le minimum global de la fonction, on procède par saut aléatoire sur l'espace des transformations et la méthode décrite précédemment est appliquée à partir de la position aléatoire trouvée. Le processus est itéré un nombre de fois jugé suffisant pour atteindre le minimum global. Toutefois, d'autres types d'algorithmes d'optimisation pourraient être utilisés, tels Powell, Newton Raphson ... , sans sortir du cadre de l'invention. iii.d. Stratégie de recalage
Le procédé proposé s'applique à la localisation et à la conduite de navigation dans le cas de structares anatomiques arborescentes et de type tabulaire. Comme déjà mentionné ci-dessus, il peut concerner les voies circulatoires ou différents canaux physiologiques dès lors que des images préopératoire 3D et peropératoire 2D sont disponibles. Concernant ces dernières, il est toutefois nécessaire de distinguer clairement les structures anatomiques d'intérêt sur les images. De plus, l'hypothèse est faite que les structures anatomiques d'intérêt, ou les parties de ces structures, utilisées pour le recalage se déforment peu entre l'instant d'acquisition préopératoire et l'instant d'acquisition peropératoire. Le domaine d'application pris comme exemple dans la suite concerne la conduite de navigation dans des structares vasculaires.
Différentes stratégies peuvent être dégagées à partir de la géométrie du problème décrite dans la partie ii), celles-ci se distinguant non seulement sur le plan de l'espace de recherche des paramètres adopté, mais aussi sur le plan du protocole de recalage à suivre. Dans tous les cas, une estimation initiale de la transformation est donnée par la simulation. Les paramètres initiaux de rotation et de translation sont utilisés à titre indicatif par le praticien, pour effectaer un premier réglage du système d'acquisition au début de l'intervention. Après injection d'un produit de contraste dans les vaisseaux, il réalise de manière classique - au moyen d'un appareil de scopie avec un bras en C par exemple et sans modification du protocole habituel - une séquence temporelle d'images sous l'incidence sélectionnée, qui lui permet de visualiser les structures anatomiques d'intérêt sur l'écran de contrôle. Une des sorties vidéo de l'appareil de scopie étant connectée à une carte d'acquisition (incluant éventuellement des fonctions de numérisation et de traitement d'image) insérée dans un ordinateur de type PC, la séquence d'image sur laquelle est superposée la projection (60) des lignes centrales 3D des vaisseaux pré-calculée en simulation, selon la transformation %& et le modèle de distorsion typique ou mesuré de l'appareil considéré, est restituée en temps réel sur un deuxième écran de contrôle (figure 6). Le praticien peut ainsi affiner le réglage de l'incidence pendant cette première acquisition, en cherchant à faire coïncider approximativement l'image des vaisseaux injectés avec les lignes centrales 3D projetées. La prise en compte du jeu de paramètres issu de la simulation virtuelle permet d'optimiser la phase de réglage de l'appareil, tant au niveau du temps d'acquisition, et donc de l'irradiation subie par le patient, qu'au niveau de l'incidence sélectionnée. Elle permet aussi de disposer de conditions initiales sur les paramètres recherchés dans le processus de recalage proches de la solution finale, pour améliorer la convergence de l'algorithme d'optimisation (iii.c). L'incidence d'acquisition étant fixée, deux modes de réalisation de la procédure de recalage qui s'appuient fortement sur la modélisation fine du système d'acquisition (décrite en ii.) sont possibles.
Dans un premier mode de réalisation, il s'agit d'estimer les dix paramètres de la transformation " ,, c'est à dire les paramètres intrinsèques du système d'acquisition (transformation t^) et les paramètres extrinsèques de la transformation rigide τSP qui est la combinaison des transformations τSR et t ^,. Les distorsions géométriques correspondant à l'incidence sélectionnée peuvent être estimées plus précisément dans une phase préliminaire classique grâce à une grille radio-opaque plane placée à proximité et parallèlement au plan du capteur d'image. Ainsi, la transformation recherchée se compose de six paramètres de rotation et de translation (Txsp, Tysp, T≈p, θxsp, θysp, θ^p) alignant le repère préopératoire 3D sur le repère 3D du système d'acquisition et des quatre paramètres intrinsèques du système d'acquisition (u0, v0, Fu, Fv). Le recalage est ensuite effectué sur cet espace de recherche à partir des seules structures anatomiques suivant le plan méthodologique développé dans la partie précédente.
Dans un second mode de réalisation, le modèle intrinsèque du système d'acquisition τIS est déterminé par une procédure de calibrage qui peut inclure aussi l'estimation des distorsions géométriques. Plusieurs approches ont été reportées dans la littérature. Il est nécessaire d'utiliser une mire de calibrage faisant apparaître des points radio-opaques couvrant un espace utile 3D. Celle-ci peut être disposée dans le champ opératoire et prendre une forme géométrique s'adaptant à l'anatomie du patient. Une solution moins contraignante pour la procédure mterventionnelle consiste à fixer devant le détecteur d'image deux plans solidaires munis de points radio-opaques, strictement parallèles et distants entre eux d'environ 10 cm. Une méthode de calibrage multi-plans peut alors être appliquée, le modèle de projection perspective se déduisant simplement à partir du modèle multi-plans. Une fois les paramètres intrinsèques déterminés, la transformation recherchée se limite à la transformation τSP. Le recalage sur les caractéristiques anatomiques segmentées consiste alors à calculer les six paramètres (Txsp, Tysp, Top, θxsp, θysp, θωp). On procède suivant la même méthodologie que celle décrite précédemment mais l'espace de recherche des paramètres est moins important. iv. Rétroprojection et localisation
Lorsque la phase de recalage, et la mise en correspondance des structures segmentées 3D et 2D qui en résulte, est achevée, les paramètres de la transformation τ'
(estimée de la transformation géométrique 3D/2D) sont déterminés.
Comme illustré sur la figure 7, le correspondant 72 sur l'image 2D peropératoire 73 de tout point 71 de l'espace 3D préopératoire 74 est donc connu. Inversement, la droite de projection (ou de retro-projection) issue du centre de projection et passant par un point 2D quelconque 72 est déterminée simplement en calculant les coordonnées du centre de projection et du vecteur directeur de la droite dans l'espace 3D préopératoire. Théoriquement, la droite de projection 70 est insuffisante pour localiser un outil ponctuel dans un volume. Cependant, à la différence des problèmes de reconstruction 3D, les données volumiques et en particulier l'arbre vasculaire segmenté par navigation exploratoire virtuelle sont connues. Comme, par ailleurs, les outils endovasculaires sont guidés dans la lumière du vaisseau par un cathéter, leur localisation dans le volume préopératoire est réalisée par rétroprojection dans le volume segmenté constitué de l'arbre vasculaire et par le calcul du point 71 de l'arbre vasculaire (lignes centrales des vaisseaux) le plus proche de la droite de projection. Plus précisément, les différentes branches de l'arbre vasculaire 3D discret issues de la navigation exploratoire virtuelle sont interpolées de façon à être décrites par un ensemble W de points 3D wt. Après recalage des lignes centrales 3D et des lignes centrales 2D, une estimation τ' de la transformation est trouvée, (dx étant la droite de projection selon τ' passant par qt (point 2D devant être localisé) le calcul du point de l'ensemble W le plus proche de (dt) donne le résultat de la localisation après recalage.
Ainsi, si Wj est ce point, alors qt est retroprojeté en wi wj = hoc(qt , τ') ).
La détection des points de l'image peropératoire 2D 73 devant être localisés dans l'espace préopératoire 3D 74 est réalisée par des algorithmes classiques de traitement d'image. Elle est effectuée sur la carte d'acquisition standard incluant des fonctions de traitement d'image. En effet l'outil (ballonnet, source d'irradiation, ...) étant matérialisé par des points radio-opaques le délimitant et le produit de contraste étant naturellement évacué des structures vasculaires à ce stade du processus, la détection des points à localiser dans l'image ne pose pas de difficultés particulières. Outre la localisation indépendante de certains points de l'outil dans l'espace préopératoire 3D, la considération de plusieurs points permet aussi de déterminer son orientation par rapport aux structures anatomiques environnantes.
La figure 8 présente un exemple de contenu de deux écrans d'affichage 80, 81 au cours d'une opération. Sur le premier écran 80, le praticien visualise une vue réelle d'une image 2D peropératoire 82, dont une vue schématique est représentée dans la partie haute de la figure 7. Sur le second écran 81, il visualise un ensemble d'informations restituées pendant l'intervention (voir description ci-après) ,
Ainsi dans l'exemple sur la figure 8, une séquence temporelle d'images 2D peropératoires 82 est acquise (sous la même incidence que l'image 2D peropératoire de référence) après évacuation du produit de contraste et introduction d'un cathéter 84 sur lequel est placé l'outil. Le terme outil est utilisé au sens large, celui-ci pouvant désigner un ballon, une endoprothèse, une source d'irradiation ... L'image peropératoire 2D à rayons X 82 fait alors apparaître l'outil (dans l'exemple un ballon non encore dilaté) matérialisé par deux points radio-opaques 85, 83. La région d'intérêt 86 agrandie permet de mieux distinguer les deux points radio-opaques 85, 83. Comme illustré sur la figure 7, qui est une vue schématique simplifiée de l'exemple réel de la figure 8, ces points sont détectés puis localisés ponctuellement sur les primitives activées 76 dans le référentiel 3D pré-opératoire. Dans cet exemple, les primitives activées 76 sont trois branches de l'arbre vasculaire.
La branche 75 associée à l'un des points est mise en évidence par la localisation contextuelle. En effet, outre la localisation ponctuelle décrite ci-dessus, il est possible, à partir de la description structurelle de l'arborescence (modèle descriptif), d'effectuer une localisation contextuelle. Cette dernière permet d'indiquer dans quelle branche de la structure arborescente se situe le point localisé et le parcours suivi par l'outil. A partir de cette localisation contextuelle, un processus d'activation / désactivation permet d'activer au cours de l'évolution de l'outil un nombre limité de branches possibles pour les localisations futures et de lever ainsi les ambiguïtés dans le cas de structures arborescentes denses pour lesquelles plusieurs candidats seraient possibles (superposition des structures anatomiques dans l'image 2D). v. Conduite de Navigation
H s'agit dans cette étape de restituer les éléments pertinents du planning au cours de l'intervention. La restitution des données 3D préopératoires sélectionnées dans la phases de simulation peut se faire par différents moyens tels que des lunettes HMD, ou un système multi-écrans, sur lesquels apparaissent les images réelles classiquement réalisées lors d'une intervention enrichies des données issues du planning.
La forme la plus simple est de sélectionner une trajectoire virtaelle, ainsi que la séquence d'images associées, et de l'afficher au cours de l'intervention. Dans ce cas, la localisation est approximée et définie interactivement par l'utilisateur au cours de l'intervention. La forme la plus élaborée de cette conduite de navigation par réalité augmentée consiste à utiliser les résultats de l'étape (iv) pour sélectionner l'image virtuelle issue de la navigation exploratoire virtaelle dans une séquence pré-enregistrée dans la phase de simulation (ii), ou bien de. déterminer la trajectoire et de calculer les images virtuelles associées dans le volume préopératoire en fonction de la trajectoire réellement suivie par l'outil.
Les informations du planning restituées pendant l'intervention pour aider à la prise de décision du praticien peuvent être de différentes nature. Un premier type d'images permet de restituer et d'interpréter la localisation de l'outil dans l'environnement 3D préopératoire, c'est-à-dire par rapport aux autres structares anatomiques. Cette localisation contextuelle est basée par exemple sur des coupes ou des images MIP calculées dans trois plans orthogonaux au volume préopératoire avec la superposition d'une représentation synthétique de l'outil au cours de la navigation réelle. Le praticien peut aussi avoir recours à des images permettant de mieux apprécier localement les caractéristiques des structures anatomiques et de la lésion au fur et à mesure de la progression de l'outil. Ce sont par exemple des images d'endoscopie virtuelle, des coupes reformatées, des images mixtes combinant un codage de couleur de la nature des différents tissus composant la lésion et une vue endoscopique virtuelle de la lumière du vaisseau ... Un premier choix de ces différentes informations peut être réalisé dans la phase de simulation. Si plusieurs représentations sont nécessaires pour mieux apprécier la lésion, la commutation entre ces différentes représentations est réalisée interactivement par l'utilisateur pendant l'intervention.
Dans l'exemple illustré sur la figure 8, les informations restituées sur le second écran 81, pendant l'intervention, comprennent : trois plans de coupe orthogonaux 87, 90 et 91 du volume 3D préopératoire 74, fixés par les coordonnées du point localisé 88, la superposition de la position de l'outil et de son orientation 89 (obtenue en considérant la localisation du deuxième marqueur radio-opaque) sur ces plans ; - une vue endoscopique virtuelle 93 pour la localisation et l'orientation considérées ; une vue mixte 92 faisant apparaître une représentation de type endoscopie virtaelle à l'intérieur de la lumière du vaisseau et une représentation de la densité des tissus codée en couleur dans un plan de coupe reformaté pour l'extérieur de la lumière du vaisseau.
Outre la restitution visuelle des données, des alarmes sonores peuvent aussi être utilisées pour indiquer une cible ou un écart trop important par rapport à la localisation ou la trajectoire idéale définie en simulation. vi. Suivi et enregistrement numérique de la procédure La trajectoire idéale simulée, les images virtuelles associées, les paramètres de l'acquisition virtaelle et réelle, les instructions et les gestes du praticien pendant l'intervention et plus particulièrement durant les phases décisives de l'intervention sont enregistrés afin de constituer une boite noire de l'intervention, de servir de base à des études de suivi postopératoire de l'intervention et de l'évolution de la lésion, et de constituer un ensemble de cas de référence pour de futures interventions.
F-c) Autre mode de réalisation particulier de l'invention
Dans le mode de réalisation décrit ci-dessus en relation avec les figures 1 à 7, les mêmes structures anatomiques sont utilisées pour le recalage et la localisation.
Dans une variante de réalisation de l'invention, le recalage est effectué avec des premières structares anatomiques arborescentes (comme décrit en détail ci-dessus), mais la localisation de l'outil est effectuée en relation avec des secondes structares anatomiques (pouvant être non- arborescente). On suppose dans ce cas que les secondes structures anatomiques sont adjacentes à et sensiblement fixes par rapport aux premières structures anatomiques arborescentes. On suppose également que des (secondes) primitives 3D peuvent être obtenues par segmentation des secondes structures anatomiques.
Il est clair que les deux modes de réalisation précités de l'invention peuvent être combinés. Dans ce cas, le recalage est effectué avec les premières structures anatomiques arborescentes, et la localisation d'un ou plusieurs outils est effectuée en relation avec les premières structares anatomiques arborescentes et/ou avec les secondes structures anatomiques.

Claims

REVENDICATIONS
1. Procédé d'assistance et de guidage de navigation d'un outil dans des structares anatomiques, ledit procédé étant caractérisé en ce qu'il comprend :
- une phase de planification, comprenant les étapes suivantes : * acquisition d'une image 3D préopératoire, associée à un référentiel 3D préopératoire et dans laquelle apparaissent des premières structares anatomiques arborescentes ;
* segmentation desdites premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire, de façon à obtenir un modèle descriptif définissant les branches des premières structures anatomiques arborescentes au moyen de premières primitives 3D ainsi que les relations entre lesdites branches ;
- une phase d'intervention, comprenant les étapes suivantes :
* acquisition, sous au moins une incidence, d'une séquence temporelle d'images 2D peropératoires associées à un référentiel 2D peropératoire, au moins une desdites images 2D peropératoires, dite au moins une image 2D peropératoire de référence, faisant apparaître lesdites premières structures anatomiques arborescentes ;
* segmentation des premières structares anatomiques arborescentes apparaissant sur ladite au moins une image 2D peropératoire de référence, de façon à obtenir des premières primitives 2D ;
* recalage entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, consistant à déterminer au moins certains des paramètres d'une transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, par minimisation d'au moins un critère de distance entre, d'une part, la projection dans ladite au moins une image 2D peropératoire de référence d'au moins certaines des premières primitives 3D dites premières primitives 3D de recalage et, d'autre part, au moins certaines des premières primitives 2D dites premières primitives 2D de recalage ; * localisation et suivi dudit outil dans ladite image 3D préopératoire, consistant, pour au moins certaines des images 2D peropératoires, en :
>- une détection dans l'image 2D peropératoire d'au moins un marqueur présent sur l'outil, >- une fourniture à un praticien d'informations de localisation ponctaelle dudit au moins un marqueur dans l'image 3D préopératoire, indiquant dans l'image 3D préopératoire le point de l'une des premières primitives 3D, dites premières primitives 3D activées, le plus proche de ou situé à l'intersection avec une droite de rétro-projection qui d'une part passe par le point de l'image 2D peropératoire où ledit au moins un marqueur a été détecté et d'autre part est obtenue avec ladite transformation géométrique de type prédéterminé.
2. Procédé selon la revendication 1 , caractérisé en ce que ladite étape localisation et suivi dudit outil dans ladite image 3D préopératoire, consiste en outre, pour au moins certaines des images 2D peropératoires, en une fourniture au praticien d'informations de localisation contextaelle, indiquant dans l'image 3D préopératoire, à partir dudit modèle descriptif des premières structares anatomiques arborescentes et desdites informations de localisation ponctaelle, la branche dans laquelle se trouve ledit au moins un marqueur détecté.
3. Procédé d'assistance et de guidage de navigation d'un outil dans des structures anatomiques , ledit procédé étant caractérisé en ce qu'il comprend : - une phase de planification, comprenant les étapes suivantes :
* acquisition d'une image 3D préopératoire, associée à un référentiel 3D préopératoire et dans laquelle apparaissent des premières structares anatomiques arborescentes et des secondes structures anatomiques, adjacentes à et sensiblement fixes par rapport aux premières structures anatomiques arborescentes ;
* segmentation desdites premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire, de façon à obtenir un modèle descriptif définissant les branches des premières structures anatomiques arborescentes au moyen de premières primitives 3D ainsi que les relations entre lesdites branches ;
* segmentation desdites secondes structares anatomiques apparaissant sur l'image 3D préopératoire, de façon à obtenir des secondes primitives 3D ; une phase d'intervention, comprenant les étapes suivantes :
* acquisition, sous au moins une incidence, d'une séquence temporelle d'images 2D peropératoires associées à un référentiel 2D peropératoire, au moins une desdites images 2D peropératoires, dite au moins une image 2D peropératoire de référence, faisant apparaître lesdites premières et secondes structures anatomiques arborescentes ;
* segmentation des premières structares anatomiques arborescentes apparaissant sur ladite au moins une image 2D peropératoire de référence, de façon à obtenir des premières primitives 2D ;
* recalage entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, consistant à déterminer au moins certains des paramètres d'une transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, par minimisation d'au moins un critère de distance entre, d'une part, la projection dans ladite au moins une image 2D peropératoire de référence d'au moins certaines des premières primitives 3D dites premières primitives 3D de recalage et, d'autre part, au moins certaines des premières primitives 2D dites premières primitives 2D de recalage ;
* localisation et suivi dudit outil dans ladite image 3D préopératoire, consistant, pour au moins certaines des images 2D peropératoires, en : - une détection dans l'image 2D peropératoire d'au moins un marqueur présent sur l'outil, - une fourniture à un praticien d'informations de localisation ponctaelle dudit au moins un marqueur dans l'image 3D préopératoire, indiquant dans l'image 3D préopératoire le point de l'une des secondes primitives 3D, dites secondes primitives 3D activées, le plus proche de ou sitaé à l'intersection avec une droite de rétro-projection qui d'une part passe par le point de l'image 2D peropératoire où ledit au moins un marqueur a été détecté et d'autre part est obtenue avec ladite transformation géométrique de type prédéterminé.
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que les premières structares anatomiques arborescentes sont de type tabulaire.
5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ladite étape de segmentation des premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire est basée sur un processus de navigation exploratoire virtaelle au sein de l'image 3D préopératoire, au cours duquel un processus d'analyse de scène associé à un capteur virtuel permet de construire automatiquement ledit modèle descriptif des premières structares anatomiques arborescentes.
6. Procédé selon la revendication 5, caractérisé en ce que ledit capteur virtuel est basé sur le lancer de rayons et fait intervenir : une projection perspective, préférentiellement complétée par un modèle de distorsions géométriques ; une détection sous voxel de surface de type interpolation trilinéaire et seuillage le long des rayons ; une transformation rigide entre le référentiel lié au capteur virtuel et le référentiel lié à l'image 3D préopératoire ; - un calcul de la valeur des pixels par un modèle d'illumination, préférentiellement le modèle d'illumination de Phong.
7. Procédé selon l'une quelconque des revendications 5 et 6, caractérisé en ce que ledit processus de navigation exploratoire virtaelle comprend une étape de filtrage de l'image 3D préopératoire, permettant de définir une image 3D préopératoire filtrée selon un algorithme tel que, pour chaque point de l'image du capteur virtuel, on effectue un lancer de rayon et : les voxels qui sont traversés par le rayon et qui appartiennent à la lumière interne de l'une des branches des premières structares anatomiques arborescentes conservent leurs valeurs initiales, et les voxels qui sont traversés par le rayon et qui n'appartiennent pas à la lumière interne de l'une des branches des premières structares anatomiques arborescentes prennent une valeur prédéterminée, préférentiellement nulle.
8. Procédé selon l'une quelconque des revendications 1 à 7, l'incidence d'acquisition des images 2D peropératoires par un système d'acquisition 2D peropératoire étant définie par un jeu de paramètres de réglage dudit système d'acquisition 2D peropératoire, caractérisé en ce que ladite phase de planification comprend en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structares anatomiques arborescentes ; détermination, à partir des images 2D peropératoires simulées, d'une incidence optimale parmi ladite au moins une incidence de test, ladite incidence optimale étant définie par de premières valeurs dudit jeu de paramètres de réglage ; et en ce que ladite phase d'intervention comprend en outre l'étape suivante : réglage du système d'acquisition 2D peropératoire en fonction desdites premières valeurs du jeu de paramètres de réglage.
9. Procédé selon la revendication 8, caractérisé en ce que, dans ladite étape de recalage, on part de valeurs initiales des paramètres de la transformation géométrique de type prédéterminé qui sont fonction desdites premières valeurs du jeu de paramètres de réglage du système d'acquisition 2D peropératoire.
10. Procédé selon les revendications 8 et 9, caractérisé en ce que ladite étape de réglage du système d'acquisition 2D peropératoire, en fonction desdites premières valeurs du jeu de paramètres de réglage, est suivie des étapes suivantes : restitution au praticien, sur ladite au moins une image 2D peropératoire de référence faisant apparaître lesdites premières structures anatomiques arborescentes, de la projection desdites premières primitives 3D de recalage selon lesdites valeurs initiales des paramètres de la transformation géométrique de type prédéterminé ; affinage par le praticien du réglage du système d'acquisition 2D peropératoire, par tentative de superposition, sur ladite au moins une image 2D peropératoire de référence, desdites premières structures anatomiques premières avec ladite projection des premières primitives 3D de recalage.
11. Procédé selon l'une quelconque des revendications 1 à 10, caractérisé en ce que ladite phase de planification comprend en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structares anatomiques arborescentes ; sélection, notamment à partir des images 2D peropératoires simulées, de données à restituer lors d'une étape de conduite de navigation comprise dans la phase d'intervention.
12. Procédé selon l'une quelconque des revendications 1 à 11, caractérisé en ce que ladite phase de planification comprend en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structures anatomiques arborescentes ; - choix, à partir des images 2D peropératoires simulées, desdites premières primitives 3D de recalage qui sont utilisées lors de ladite étape de recalage.
13. Procédé selon l'une quelconque des revendications 1 à 12, caractérisé en ce que ladite phase de planification comprend en outre les étapes suivantes : simulation de l'acquisition, sous au moins une incidence de test, d'images 2D peropératoires, à l'aide, d'une part, d'un modèle géométrique réaliste du système d'acquisition 2D peropératoire et, d'autre part, dudit modèle descriptif des premières structures anatomiques arborescentes ; choix, à partir des images 2D peropératoires simulées, desdites premières ou secondes primitives 3D activées qui sont utilisées lors de ladite étape de fourniture au praticien d'informations de localisation ponctaelle dudit au moins un marqueur dans l'image 3D préopératoire.
14. Procédé selon Tune quelconque des revendications 1 à 13, caractérisé en ce que ladite transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire est une combinaison de : au moins une transformation rigide (τSP) entre le référentiel 3D préopératoire et un référentiel 3D rapporté à la source du système d'acquisition 2D peropératoire, ladite au moins une transformation rigide étant définie par des paramètres extrinsèques de rotation et de translation ; - au moins une projection perspective (τIS) entre le référentiel 3D rapporté à la source du système d'acquisition 2D peropératoire et un repère associé aux images 2D peropératoires, ladite au moins une projection perspective étant définie par des paramètres intrinsèques de projection.
15. Procédé selon la revendication 14, caractérisé en ce que ladite étape de recalage consiste à déterminer d'une part lesdits paramètres extrinsèques de rotation et de translation, définissant ladite au moins une transformation rigide, et d'autre part lesdits paramètres intrinsèques de projection, définissant ladite au moins une projection perspective.
16. Procédé selon la revendication 14, caractérisé en ce que ladite étape de recalage consiste à déterminer lesdits paramètres extrinsèques de rotation et de translation, définissant ladite au moins une transformation rigide, et en ce que lesdits paramètres intrinsèques de projection, définissant ladite au moins une projection perspective, sont prédéterminés et supposés connus.
17. Procédé selon la revendication 14, caractérisé en ce que ladite étape de recalage consiste à déterminer lesdits paramètres extrinsèques de rotation et de translation, définissant ladite au moins une transformation rigide, et en ce que ledit procédé comprend en outre une étape de calibrage, pouvant inclure une estimation des distorsions géométriques, et permettant de déterminer lesdits paramètres intrinsèques de projection, définissant ladite au moins une projection perspective.
18. Procédé selon l'une quelconque des revendications 1 à 17, caractérisé en ce que ladite phase de planification comprend en outre une étape de sélection de données 3D préopératoires, et en ce que ladite phase d'intervention comprend en outre une étape de conduite de navigation, permettant de restituer au cours de l'intervention les données 3D préopératoires sélectionnées au cours de ladite étape de sélection comprise dans la phase de planification.
19. Procédé selon la revendication 18, caractérisé en ce que ladite étape de sélection de données 3D préopératoires consiste à déterminer une trajectoire virtaelle de l'outil et à sélectionner des données 3D préopératoires associées à ladite trajectoire virtaelle, et en ce que ladite étape de conduite de navigation consiste à restituer les données 3D préopératoires sélectionnées, en fonction d'informations relatives à la localisation de l'outil le long de ladite trajectoire virtuelle.
20. Procédé selon la revendication 19, caractérisé en ce que les informations relatives à la localisation de l'outil le long de ladite trajectoire virtaelle sont fournies de façon interactive par le praticien, au cours de l'intervention.
21. Procédé selon la revendication 19, caractérisé en ce que les informations relatives à la localisation de l'outil le long de ladite trajectoire virtaelle sont fournies automatiquement, en utilisant les résultats de l'étape de localisation et de suivi dudit outil.
22. Procédé selon l'une quelconque des revendications 1 à 17, caractérisé en ce que ladite phase d'intervention comprend en outre une étape de conduite de navigation, comprenant elle-même les étapes suivantes : estimation d'une trajectoire réelle de l'outil, en utilisant les résultats de l'étape de localisation et de suivi dudit outil ; obtention de données 3D préopératon'es associées à ladite trajectoire estimée ; restitution, au cours de l'intervention et en fonction d'informations relatives à la localisation de l'outil le long de la trajectoire estimée, des données 3D préopératoires obtenues.
23. Procédé selon la revendication 5 et la revendication 18 ou 22, caractérisé en ce que ladite étape de sélection ou d'obtention de données 3D préopératoires s'appuie sur le résultat de l'exécution du processus de navigation exploratoire virtaelle, processus sur lequel est basée ladite étape de segmentation des premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire.
24. Procédé selon l'une quelconque des revendications 18 à 23, caractérisé en ce que les données 3D préopératoires restitaées au cours de l'étape de conduite de navigation appartiennent au groupe comprenant : des images permettant de restituer et interpréter la localisation de l'outil dans l'environnement 3D préopératoire, c'est-à-dire notamment par rapport aux premières ou secondes structures anatomiques ; des images permettant de mieux apprécier localement des caractéristiques des premières ou secondes structares anatomiques et/ou d'une lésion, au fur et à mesure de la progression de l'outil ; - des alarmes visuelles et/ou sonores.
25. Procédé selon l'une quelconque des revendications 1 à 24, caractérisé en ce qu'il comprend en outre une étape de suivi et d'enregistrement d'au moins une information relative à l'exécution dudit procédé.
26. Procédé selon la revendication 25, caractérisé en ce que ladite au moins une information relative à l'exécution dudit procédé appartient au groupe comprenant : des trajectoires simulées de l'outil ; des images virtuelles associées à des trajectoires simulées de l'outil ; des paramètres de l'acquisition 2D peropératoire virtaelle ; des paramètres de l'acquisition 2D peropératoire réelle ; - des instructions du praticien pendant l'intervention ; des gestes du praticien pendant l'intervention.
27. Procédé selon l'une quelconque des revendications 1 à 26, caractérisé en ce que lesdites premières primitives 3D et 2D et lesdites secondes primitives 3D comprennent au moins un des éléments appartenant au groupe comprenant : - des lignes centrales des premières ou secondes structures anatomiques ; des maillages d'au moins une surface interne ou externe des premières ou secondes structares anatomiques.
28. Procédé selon l'une quelconque des revendications 2 à 27, caractérisé en ce que ladite étape de fourniture au praticien d'informations de localisation dudit au moins un marqueur dans l'image 3D préopératoire comprend une étape d'utilisation des informations de localisation contextaelle pour levée une ambiguïté dans l'obtention des informations de localisation ponctaelle.
29. Procédé selon l'une quelconque des revendications 1 à 28, caractérisé en ce que ladite étape de fourniture au praticien d'informations de localisation dudit au moins un marqueur dans l'image 3D préopératoire comprend un processus d'activation/desactivation de premières ou secondes primitives 3D en fonction de la trajectoire suivie par ledit outil et/ou d'informations fournies par le praticien.
30. Système d'assistance et de guidage de navigation d'un outil dans des structures anatomiques , ledit système étant caractérisé en ce qu'il comprend : - des moyens de planification, comprenant les moyens suivants :
* des moyens d'acquisition d'une image 3D préopératoire, associée à un référentiel 3D préopératoire et dans laquelle apparaissent des premières structares anatomiques arborescentes ;
* des moyens de segmentation desdites premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire, de façon à obtenir un modèle descriptif définissant les branches des premières structares anatomiques arborescentes au moyen de premières primitives 3D ainsi que les relations entre lesdites branches ; - des moyens d'intervention, comprenant les moyens suivants : * des moyens d'acquisition, sous au moins une incidence, d'une séquence temporelle d'images 2D peropératoires associées à un référentiel 2D peropératoire, au moins une desdites images 2D peropératoires, dite au moins une image 2D peropératoire de référence, faisant apparaître lesdites premières structures anatomiques arborescentes ; * des moyens de segmentation des premières structares anatomiques arborescentes apparaissant sur ladite au moins une image 2D peropératoire de référence, de façon à obtenir des premières primitives 2D ;
* des moyens de recalage entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, consistant à déterminer au moins certains des paramètres d'une transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, par minimisation d'au moins un critère de distance entre, d'une part, la projection dans ladite au moins une image 2D peropératoire de référence d'au moins certaines des premières primitives 3D dites premières primitives 3D de recalage et, d'autre part, au moins certaines des premières primitives 2D dites premières primitives 2D de recalage ;
* des moyens de localisation et de suivi dudit outil dans ladite image 3D préopératoire, effectuant, pour au moins certaines des images 2D peropératoires : >- une détection dans l'image 2D peropératoire d'au moins un marqueur présent sur l'outil,
>- une fourniture à un praticien d'informations de localisation ponctaelle dudit au moins un marqueur dans l'image 3D préopératoire, indiquant dans l'image 3D préopératoire le point de l'une des premières primitives 3D, dites premières primitives 3D activées, le plus proche de ou situé à l'intersection avec une droite de rétro-projection qui d'une part passe par le point de l'image 2D peropératoire où ledit au moins un marqueur a été détecté et d'autre part est obtenue avec ladite transformation géométrique de type prédéterminé.
31. Système d'assistance et de guidage de navigation d'un outil dans des structares anatomiques , ledit système étant caractérisé en ce qu'il comprend :
- des moyens de planification, comprenant les moyens suivants :
* des moyens d'acquisition d'une image 3D préopératoire, associée à un référentiel 3D préopératoire et dans laquelle apparaissent des premières structures anatomiques arborescentes et des secondes structures anatomiques, adjacentes à et sensiblement fixes par rapport aux premières structures anatomiques arborescentes ;
* des moyens de segmentation desdites premières structures anatomiques arborescentes apparaissant sur l'image 3D préopératoire, de façon à obtenir un modèle descriptif définissant les branches des premières structares anatomiques arborescentes au moyen de premières primitives 3D ainsi que les relations entre lesdites branches ;
* des moyens de segmentation desdites secondes structures anatomiques apparaissant sur l'image 3D préopératoire, de façon à obtenir des secondes primitives 3D ; des moyens d'intervention, comprenant les moyens suivants :
* des moyens d'acquisition, sous au moins une incidence, d'une séquence temporelle d'images 2D peropératoires associées à un référentiel 2D peropératoire, au moins une desdites images 2D peropératoires, dite au moins une image 2D peropératoire de référence, faisant apparaître lesdites premières et secondes structares anatomiques arborescentes ;
* des moyens de segmentation des premières structares anatomiques arborescentes apparaissant sur ladite au moins une image 2D peropératoire de référence, de façon à obtenir des premières primitives 2D ; * des moyens de recalage entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, consistant à déterminer au moins certains des paramètres d'une transformation géométrique de type prédéterminé entre le référentiel 3D préopératoire et le référentiel 2D peropératoire, par minimisation d'au moins un critère de distance entre, d'une part, la projection dans ladite au moins une image 2D peropératoire de référence d'au moins certaines des premières primitives 3D dites premières primitives 3D de recalage et, d'autre part, au moins certaines des premières primitives 2D dites premières primitives 2D de recalage ;
* des moyens de localisation et de suivi dudit outil dans ladite image 3D préopératoire, effectuant, pour au moins certaines des images 2D peropératoires : - une détection dans l'image 2D peropératoire d'au moins un marqueur présent sur l'outil, - une fourniture à un praticien d'informations de localisation ponctaelle dudit au moins un marqueur dans l'image 3D préopératoire, indiquant dans l'image 3D préopératoire le point de l'une des secondes primitives 3D, dites secondes primitives 3D activées, le plus proche de ou sitaé à l'intersection avec une droite de rétro -projection qui d'une part passe par le point de l'image 2D peropératoire où ledit au moins un marqueur a été détecté et d'autre part est obtenue avec ladite transformation géométrique de type prédéterminé.
32. Programme d'ordinateur, caractérisé en ce que ledit programme comprend des séquences d'instructions adaptées à la mise en œuvre d'un procédé selon l'une quelconque des revendications 1 à 29 lorsque ledit programme est exécuté sur un ordinateur.
PCT/FR2003/001168 2002-04-18 2003-04-11 Procede d'assistance et de guidage de navigation d'un outil dans des structures anatomiques. Ceased WO2003088143A2 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003246822A AU2003246822A1 (en) 2002-04-18 2003-04-11 Method for assisting and guiding the navigation of a tool in anatomical structures

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR02/04898 2002-04-18
FR0204898A FR2838628B1 (fr) 2002-04-18 2002-04-18 Procede d'assistance et de guidage de navigation d'un outil dans des structures anatomiques

Publications (2)

Publication Number Publication Date
WO2003088143A2 true WO2003088143A2 (fr) 2003-10-23
WO2003088143A3 WO2003088143A3 (fr) 2004-04-08

Family

ID=28686181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2003/001168 Ceased WO2003088143A2 (fr) 2002-04-18 2003-04-11 Procede d'assistance et de guidage de navigation d'un outil dans des structures anatomiques.

Country Status (3)

Country Link
AU (1) AU2003246822A1 (fr)
FR (1) FR2838628B1 (fr)
WO (1) WO2003088143A2 (fr)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016207358A1 (fr) * 2015-06-26 2016-12-29 Therenva Procédé et système d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
EP3913578A1 (fr) * 2020-05-20 2021-11-24 Therenva Procédé et système de recalage d'images contenant des structures anatomiques
US20220296302A1 (en) * 2019-04-26 2022-09-22 Ganymed Robotics Method and system for computer guided surgery
US11666385B2 (en) 2017-08-21 2023-06-06 The Trustees Of Columbia University In The City Of New York Systems and methods for augmented reality guidance

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991018644A1 (fr) * 1990-06-04 1991-12-12 Dose Plan, Inc. Procede destine a la radiochirurgie

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016207358A1 (fr) * 2015-06-26 2016-12-29 Therenva Procédé et système d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
FR3037785A1 (fr) * 2015-06-26 2016-12-30 Therenva Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
CN107847277A (zh) * 2015-06-26 2018-03-27 特朗瓦公司 辅助在血管结构中引导血管内工具的方法和系统
US10959780B2 (en) 2015-06-26 2021-03-30 Therenva Method and system for helping to guide an endovascular tool in vascular structures
US11666385B2 (en) 2017-08-21 2023-06-06 The Trustees Of Columbia University In The City Of New York Systems and methods for augmented reality guidance
US20220296302A1 (en) * 2019-04-26 2022-09-22 Ganymed Robotics Method and system for computer guided surgery
US12064187B2 (en) * 2019-04-26 2024-08-20 Ganymed Robotics Method and system for computer guided surgery
EP3913578A1 (fr) * 2020-05-20 2021-11-24 Therenva Procédé et système de recalage d'images contenant des structures anatomiques
FR3110744A1 (fr) * 2020-05-20 2021-11-26 Therenva Procédé et système de recalage d’images contenant des structures anatomiques
US11900620B2 (en) 2020-05-20 2024-02-13 Therenva Method and system for registering images containing anatomical structures

Also Published As

Publication number Publication date
FR2838628B1 (fr) 2005-02-18
WO2003088143A3 (fr) 2004-04-08
AU2003246822A8 (en) 2003-10-27
FR2838628A1 (fr) 2003-10-24
AU2003246822A1 (en) 2003-10-27

Similar Documents

Publication Publication Date Title
US10687777B2 (en) Vascular data processing and image registration systems, methods, and apparatuses
US8126241B2 (en) Method and apparatus for positioning a device in a tubular organ
CA2905203C (fr) Systemes, procedes et appareils de traitement de donnees et d&#39;enregistrement d&#39;images vasculaires
US8073221B2 (en) System for three-dimensional medical instrument navigation
EP3913578B1 (fr) Procédé et système de recalage d&#39;images contenant des structures anatomiques
US9142018B2 (en) Method for three-dimensional localization of an object from a two-dimensional medical image
US8620050B2 (en) System and method for 2-D/3-D registration between 3-D volume and 2-D angiography
US20090012390A1 (en) System and method to improve illustration of an object with respect to an imaged subject
US20100312100A1 (en) Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ
US20100189337A1 (en) Method for acquiring 3-dimensional images of coronary vessels, particularly of coronary veins
WO2018224485A1 (fr) Procédé et système d&#39;aide au guidage d&#39;un outil endovasculaire
FR2919096A1 (fr) Procede de correction de recalage d&#39;images radiographiques
FR2914176A1 (fr) Procede de detection et de compensation du mouvement respiratoire dans des images cardiaques fluoroscopiques synchronisees a un signal electrocardiogramme.
FR2797978A1 (fr) Procede de recalage automatique d&#39;images
CN115375595A (zh) 图像融合方法、装置、系统、计算机设备和存储介质
Miao et al. A hybrid method for 2-D/3-D registration between 3-D volumes and 2-D angiography for trans-catheter aortic valve implantation (TAVI)
Perchet et al. Advanced navigation tools for virtual bronchoscopy
WO2003088143A2 (fr) Procede d&#39;assistance et de guidage de navigation d&#39;un outil dans des structures anatomiques.
Hatt et al. Depth‐resolved registration of transesophageal echo to x‐ray fluoroscopy using an inverse geometry fluoroscopy system
Kaila et al. Fusion of CTA and XA data using 3D centerline registration for plaque visualization during coronary intervention
Barth et al. Automated biplane vessel recognition in digital coronary angiograms
KR20250106612A (ko) 초음파를 이용한 혈관의 3차원 재구성 방법
CN120390942A (zh) 用于辅助用户基于图像地规划和执行外科手术的装置
Sandoval et al. Automatic extraction and 3D visualization of coronary arteries from angiography sequences
Benseghir Topology Preserving Vascular Registration: Application to Percutaneous Coronary Intervention

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP