[go: up one dir, main page]

WO2018007091A1 - Vorrichtung zur bildgebung in einem operationssaal - Google Patents

Vorrichtung zur bildgebung in einem operationssaal Download PDF

Info

Publication number
WO2018007091A1
WO2018007091A1 PCT/EP2017/063981 EP2017063981W WO2018007091A1 WO 2018007091 A1 WO2018007091 A1 WO 2018007091A1 EP 2017063981 W EP2017063981 W EP 2017063981W WO 2018007091 A1 WO2018007091 A1 WO 2018007091A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot arm
patient
microscope
image
holder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/063981
Other languages
English (en)
French (fr)
Inventor
Sebastian Engel
Felix Fehlhaber
Eckart Uhlmann
Manuel Katanacho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of WO2018007091A1 publication Critical patent/WO2018007091A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4458—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit or the detector unit being attached to robotic arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display

Definitions

  • the present invention relates to an apparatus for imaging in an operating room.
  • Imaging used during an operation increases this efficiency, as it helps to conserve revision operations.
  • the use of imaging systems prolongs and interrupts the operation, albeit at best only for several minutes.
  • the disruption time increases dramatically as the imaging systems scan slowly, are awkward to use, or are difficult to prepare for use.
  • Computed Tomography consist of a closed gantry housing the X-ray source and X-ray detector and installed in an operating room. A patient to be examined is positioned in an opening of the housing and X-ray image data is acquired over a rotation range of over 360 ° by rotation of the X-ray source and the X-ray detector.
  • CT systems offer a very high image quality, due to the design, they also require a large amount of space and block access to the patient during image acquisition.
  • C-arms are more flexible because the X-ray source and the X-ray detector are arranged opposite one another on the actual C-arm. The C-arm is positioned on the patient for recording and rotated around the patient over an angular range of up to 200 °. However, the increased flexibility is paid for by a smaller scan area.
  • the present invention is therefore based on the object to propose a device which avoids the disadvantages mentioned, thus minimizing the interruption time of operations caused by imaging systems and at the same time as accurate information as possible can be obtained.
  • An apparatus for imaging in an operating room has an X-ray source, an X-ray detector, a robot arm, which may also be referred to as a manipulator, and a control unit for driving the robot arm.
  • the X-ray source and the X-ray detector are arranged on a holder of the robot arm and can be moved on the holder or in the holder.
  • the device can be flexibly and quickly deployed in the operating room.
  • the holder simultaneously ensures a wide scan area and, associated therewith, a high image quality.
  • X-ray radiation is to be understood within the scope of this document electromagnetic radiation in the wavelength range between 5 and 250 pm. Integration into the operating room and needs-based availability minimizes patient access for a surgeon. Existing equipment of the operating room can still be used.
  • a high degree of flexibility in the posi- One-dimensional reduction reduces the conical beam and metal artefacts typical of 3D-C arcs in a 3D reconstruction and increases the reconstruction volume as needed.
  • the achievable image quality with the same radiation dose is higher.
  • the holder may be formed with a closed housing made of a permeable to X-ray material.
  • the material is still capable of penetrating the X-radiation while simultaneously protecting the X-ray source and detector from mechanical damage and contamination.
  • permeable is to be understood in the context of this document in particular that at least 90 percent, preferably at least 95 percent of an incident intensity of the X-ray radiation penetrate the housing.
  • the housing is annular, so that a patient to be examined can be stored centrally in the housing and recordings can be taken from all sides.
  • the robot arm is designed as a six-degree-of-freedom articulated arm, i. H. three translational degrees of freedom and three rotational degrees of freedom, designed to ensure maximum flexibility.
  • the robot arm usually has six axes, so it is designed as a six-axis robot.
  • the robot arm preferably has a force torque sensor with which forces and torques can be detected. After registration of corresponding forces or torques and processing by the control unit, the device can then be controlled as a result of the detected signal.
  • a display and input unit may be arranged to display information and / or accept inputs and forward it to the control unit.
  • the information can also be provided by the control unit and include, for example, evaluated recordings.
  • the control unit can therefore also be designed as a control and evaluation unit.
  • a further aspect of the invention which, however, can also be implemented independently of the features discussed so far, relates to an optical recording unit. If this optical recording unit is used together with the device already described above, it is typically arranged on the robot arm, but particularly preferably on the holder or the housing. It can also be integrated in the housing.
  • the optical recording unit has a microscope in order to obtain images with the highest possible resolution.
  • the control unit may be designed or set up to display additional information on the display and input unit in addition to a recording recorded by the optical recording unit in order to provide as much information as possible to a user.
  • the further information may in this case comprise a slice image from a data record taken by the X-ray detector, an overlay of a predefined target area and / or a structure of a three-dimensional data set.
  • the others are
  • the device has at least one marker which identifies one of the prominent points.
  • the at least one marker is provided on its surface with a pattern of an outer frame formed of black dots, an inner frame formed of white dots and a dot pattern of black and / or white dots.
  • the marker may have a symmetrical pattern to simplify the determination of a center point.
  • the described device can be used within the framework of an imaging method or a method designed in accordance with the previously discussed features can be carried out with the disclosed device become.
  • a computer program product has a sequence of instructions stored on a machine-readable carrier, preferably a digital storage medium, for carrying out the described method and / or for
  • the computer program product can be loaded directly into an internal memory of the electronic processing unit or is already stored therein and typically comprises parts of a program code for carrying out the described method or for driving the device described, when the computer program product runs on the electronic processing unit or is performed.
  • the computer program product can also comprise a computer program which has software means for carrying out the described method and / or for driving the described device when the computer program is executed in an automation system or on the control unit.
  • Fig. 1 is a perspective view of the imaging device in an operating room
  • Figure 2 is a view corresponding to Figure 1 of the device with X-ray source and detector. a view corresponding to Figure 2 with a display and output unit;
  • FIG. 4 is a perspective view of the display and output unit with different types of activation
  • FIG. 5 is a view corresponding to Figure 2 with an instrument holder;
  • FIG. 6 is a side view of the microscope above the patient;
  • Fig. 7 is a representation corresponding to Figure 6 of the prior art
  • FIG. 9 shows a view corresponding to FIG. 8 of the recognition of prominent points or structures in three-dimensional space
  • FIG. 10 shows a schematic representation of the determination of a camera position
  • Fig. 11 is a schematic view of the assignment of points and structures
  • FIG. 13 shows a schematic representation of a determination of prominent points in three-dimensional space by recording a plurality of video images
  • FIG. 14 shows a representation corresponding to FIG. 13 with a stereo image pair received
  • FIG. 15 shows a representation corresponding to FIG. 13 with the recording of an instrument
  • FIG. 16 shows a representation corresponding to FIG. 13 with recording of an instrument in stereo images
  • FIG. 17 is a schematic perspective view of a marker detection
  • Fig. 18 is a plan view of various marker structures
  • 19 is a perspective view of the marker structures in a lung biopsy opsie
  • Fig. 20 is a plan view of a patient's head with applied markers
  • Fig. 21 is a schematic view of an ultrasound application with markers
  • FIG. 22 is a view corresponding to Figure 21 of a microscope application.
  • FIG. 1 shows a perspective view of an apparatus for imaging in an operating room.
  • the innovative approach presented here combines the concepts of computer tomography, cone beam tomography and robotics.
  • a robot arm 1 which is configured as a six-axis robot arm, is controlled by a control unit 15 and can be moved to different positions. With one end, the robot arm 1 is on a floor of the
  • a holder 2 is mounted, which consists of an annular, closed on all sides except for a cable bushing to the robot arm 1 housing, which is formed of a permeable to X-ray material.
  • Device comprises in the embodiment shown in Figure 1, a base 3 for a patient table 6, but these two components can also be omitted in further embodiments.
  • an interruption duration of an operation can be reduced to less than two minutes.
  • All imaging components ie an X-ray source and an X-ray detector are arranged on an annular structure with a diameter of 1.5 m within the closed housing of the holder 2 and rotatably mounted there.
  • An annular bearing in particular a ball bearing, allows a
  • an electromagnetic drive unit which moves, for example, a sprocket on the moving bearing side one or both imaging components.
  • X-ray sources it is also possible to install a plurality of x-ray sources and a plurality of x-ray detectors.
  • more than one X-ray source X-ray detector combination may be used.
  • the second combination of imaging components is then guided on the annular structure offset.
  • the X-ray source has a diaphragm system that can restrict the beam area.
  • the X-ray detector may be formed as a flat detector or a line or matrix detector.
  • the aperture of the X-ray source can be changed by an electric motor such that the flat detector acts as a line detector.
  • further positionable mechanical rings or rails may be present.
  • (robotic) systems for biopsies, laser systems for therapy or similar can be used on these. be attached. These can be ideally used, for example, for automated or semi-automated surgical interventions due to the local relative position between the imaging and therapy system.
  • the robot arm 1 described can be mounted both on the floor (as shown) and on a wall or a ceiling of the operating room or examination area.
  • a combination of the robotic arm movement with the movement of the annular structure allows known or new imaging paths.
  • a larger image area can be recorded than the rigid combination of X-ray source and X-ray detector enables without movement.
  • the robot arm 1 can selectively move the housing or the holder 2 during the image acquisition, so as to improve the image quality and to scan deformed objects.
  • the housing is provided with sensors that detect a position of the object and avoid a collision.
  • the sensors can be designed, for example, electromagnetically, capacitively, inductively, optically or based on ultrasound. Sensors or detection units or markers can also be integrated or attached to potential collision objects.
  • At least one force torque sensor on the robot arm 1, in particular between an end effector and the housing, ie at the end of the robot arm 1, and / or at each joint of the robot arm 1 enables a reaction to acting forces or torques.
  • the sensors increase the security of the device, but can also be used specifically for interaction.
  • Two-dimensional X-ray images can also be taken with the device described. At the same time, the system can very quickly change its image pickup direction without danger and thus take pictures from different directions.
  • FIG. 2 shows an embodiment of an arrangement of the imaging components for cone-beam computed tomography. Recurring features are provided with identical reference numerals in this figure as well as in the following figures.
  • the X-ray source 4 and the X-ray source 4 are provided with identical reference numerals in this figure as well as in the following figures.
  • X-ray detectors 5 are now arranged opposite each other and are rotated in this orientation, so that they record from any lateral viewing angles of the patient.
  • other imaging components of optical tomography such as lasers and cameras, in particular 3D cameras, can also be used.
  • optical sensors or recording unit can, rigidly connected to the X-ray source 4 or the X-ray detector 5, a corresponding receiving unit may be arranged and an inner side of the housing for electromagnetic radiation in the visible range, d. H. permeable at wavelengths between 400 nm and 780 nm.
  • electromagnetic radiation in the infrared wavelength range that is to say for wavelengths between 780 nm and 3 ⁇ m
  • the imaging robot arm 1 is designed to be collaborative, ie its mechanism is sensitive to forces or contactless sen inputs during the movement.
  • the device can be moved and aligned along the patient table 6, for example, by hand.
  • An implementation of the hand guide can be combined with a display of the device.
  • the housing of the holder 2 can be provided with a planar display and output unit 7 as a visualization unit or enclosed by it.
  • the display and output unit 7 can take over both a display function and a registration of touches, it can also controls or scan results are displayed.
  • Figure 4 shows a perspective view of the display and output unit 7 with different types of control.
  • a force sensor-assisted multi-touch input or contactless hand gestures namely, a comfortable alignment of the device can be achieved simultaneously for display.
  • the position and orientation of the housing is adjusted. For example, pulling on a housing edge 8 can cause rotation of the housing about its longitudinal axis or yaw.
  • Touching housing surfaces for example the housing base surface 9 or the housing outer surface 10, causes a horizontal or vertical movement, as shown in FIG.
  • the dead-man switch or footswitch can confirm or unlock the input.
  • the device described is moved to the image to the patient and taken together automatically and laterally and anterior-posterior images together.
  • the inner, annular structure moves with the imaging components, for example, in the horizontal beam direction, there makes an image capture, and then in the horizontal beam direction, and makes there still an image capture.
  • the process can be done very quickly and with reduced risk of collision, since the movement takes place only within the annular housing.
  • a scan center can be marked on both fluoroscopes.
  • the device corrects its orientation accordingly and then automatically performs the three-dimensional scan.
  • the housing can also accommodate other modules.
  • a holding device socket 11 on a housing cover 12 or a housing bottom 13 analogous to the imaging components, so the X-ray source 4 and the X-ray detector 5, but independently of these moved around the patient table 6 and aligned.
  • Further external measuring systems or actuators can be mounted on this holding device base 11, with the holding device base 11 typically being designed as an articulated arm which has a holding device 14 at an end facing away from the housing.
  • a robotic assistant system for holding and guiding surgical instruments can be attached, which can interact with the retainer base 11 such that its Tool Center Point (TCP) remains fixed in space during movement of the retainer base 11.
  • TCP Tool Center Point
  • the surgical instrument remains stationary while the robot arm 1 can be adjusted or reoriented as needed.
  • an optical pickup unit 16 can also be arranged on or in the holder 2. In further exemplary embodiments, however, this optical recording unit 16 can also be positioned detached from the holder 2.
  • the fixed connection allows direct navigation in the taken of the optical recording unit 16 recordings.
  • a customary in external navigation systems registration of the patient to the image data set is therefore eliminated, which simplifies the handling of clinical navigation and opens up new possibilities of automation.
  • an articulated arm or robotic arm attached to the annular housing may align a guide of a biopsy needle to the patient. In the first step, a 3D x-ray scan would be taken by the patient and the tissue to be biopsied would be marked by the operator on the control panel of the display and output unit 7. The articulated arm can align the guide of the biopsy needle so that the insertion of the needle exactly removes the marked tissue.
  • the described device can be used both in a medical
  • the optical pickup unit 16 already described may be attached to the housing as shown in FIG. 5, but in another embodiment it may also be used detached from the housing and without using the previously described device with other x-ray imaging systems. Therefore, a method for navigating a digital surgical microscope on the basis of video image data is described below, with which additional information can be superimposed by means of augmented reality in a video image of the surgical microscope or surgical instruments that move in the field of view of the microscope can be navigated.
  • Additional information in this sense can be planning data for the operation or slice images from a preoperatively recorded three-dimensional patient data set.
  • the preoperatively recorded three-dimensional patient data set can result from X-ray computed tomography, magnetic resonance tomography or another three-dimensional imaging method.
  • Scheduling data are markers in the patient record that the physician or other user makes in the dataset prior to surgery to help differentiate or simplify finding structures.
  • the planning data includes a target area that defines the structures where the surgical intervention takes place or a safety area that defines structures that must under no circumstances be violated.
  • Slices, which are displayed in the microscope image are generated from the patient data set and show the view of the microscope on the patient in a lower level of the patient.
  • the position determination, ie position and orientation, of the surgical microscope relative to the patient is effected directly by processing the video image data of the surgical microscope.
  • Optical or electromagnetic tracking systems for determining the patient position and the microscope position are typically not used, but can of course be used in further embodiments.
  • the process directly transforms the microscope camera and patient determined, which eliminates additional calibration.
  • Surgical microscopes are used in the operating room to enlarge structures in the operating area.
  • the surgical intervention can be facilitated with the aid of the surgical microscope by inserting additional information into the image of the surgical microscope or by the surgical microscope or other auxiliary instruments being navigated in the image of the surgical microscope.
  • additional information from the patient data set such as slice images from a CT or magnetic resonance tomography data set
  • FIG. 6 shows this in a schematic side view.
  • the optical pickup unit 16 with the microscope sensor 17 is positioned over the patient 19.
  • the field of view 18 of the optical pickup unit 16 detects a surface contour, wherein for calculating a coordinate origin 21 of the microscope coordinate system and a coordinate origin 20 of the three-dimensional patient data set are determined.
  • the relative position can then be determined by a transformation between the two coordinate systems.
  • a relative position between the microscope in the optical recording unit 16 and the patient 19 is detected by trackers 22 by means of an optical tracking system.
  • the position of the respective tracker 22 on the microscope and the position of the tracker 22 on the patient 19 are detected by a camera 23 and the position between the microscope track 22 and the
  • Microscope lens determined by a hand-eye calibration and between the patient tracker 22 and the patient 19 using a patient registration.
  • the method presented here has the objective of making Assist the microscope user by an augmented reality display of additional information such as a slice image from a CT data set, a display of a predefined target area or a structure from the three-dimensional data set.
  • the calculation of the transformation required between the microscope objective and the patient 19 is carried out by processing the image sequence of the microscope.
  • FIG. 8 shows a schematic view of the recognition of prominent points or structures in the first step. Distinct points 25 or structures are reliably repeatedly determined in an image sequence 26 from microscope images. This will be made of various
  • FIG. 9 shows, in a view corresponding to FIG. 8, a determination of the prominent points 25 or structures in three-dimensional space.
  • the recognized points or structures are reconstructed in three-dimensional space to provide a reference to the patient record.
  • the determination of the camera position with respect to the points and structures in the three-dimensional space is shown in FIG.
  • To determine the field of view of the microscope with respect to the 3D patient data set, the position of the camera with respect to the reconstructed points or structures in three-dimensional space is determined.
  • an image 29 of a point of space 30 is generated by an optical center 31, which lies in the main plane of the microscope objective 28.
  • FIG. 11 shows in a schematic view how an assignment of the prominent points or structures to points or structures takes place in the 3D data set.
  • the transformation 34 between the microscope and the 3D data set results from matching the prominent points 25 or structures in the three-dimensional space to the corresponding points or structures in the 3D data set.
  • a registration algorithm calculates the relative transformation 34 (rotation and translation) by correspondences 32 between reconstructed points 33 in three-dimensional space and points 25 in the preoperatively recorded 3D data record.
  • FIG. 12 shows how the final step of the method, the preparation of additional information and the insertion into the
  • Microscope image done. Since the field of view of the optical recording unit 16 or of the camera is known to the preoperatively recorded 3D patient data set, additional information from the 3D data set can be displayed in the microscope image as support for the surgeon.
  • the microscope sensor 37 or the microscope image is hereby provided with an overlay 36 of the structure which, for example, identifies the marked structure 35 as the target structure.
  • FIG. 13 shows a first method in a schematic representation, with which the determination of the position of prominent points 25 or structures in three-dimensional space can take place.
  • a reconstruction of the surface 39 of the patient 19 and a localization of the optical recording unit 16 is achieved by recording a plurality of video images from a plurality of positions.
  • an image on the microscope sensor 17 is achieved by a microscope objective 38.
  • the control unit 15 configured as a data processing unit then displays the microscope image 37 together with an augmented reality visualization 41 on a screen 40.
  • FIG. 14 shows a variant of the reconstruction in which a stereo image pair is recorded.
  • Two microscope sensors 17 for stereo viewing are now provided and correspondingly a microscope objective 38 with two optical paths for stereo viewing.
  • FIG. 15 shows the determination of characteristic points in the microscope coordinate system by localization of a
  • Pointer instrument 42 in microscope image.
  • the pointer 42 or another instrument is touched by feature points for patient registration.
  • a localization of the pointer 42 or pointer instrument is carried out by image processing.
  • FIG. 16 a further variant is shown in FIG. 16 in a representation corresponding to FIGS. 13 to 15, in which the instrument 42 is localized on the basis of the stereo images.
  • the reference between patient surface 39 or points on the patient surface 39 and the 3D data set of the patient 19 is implemented by a registration algorithm.
  • the localization of the pointer instrument 42 is effected by a stereo localization of the stereo images.
  • the transformation 34 between the microscope including the microscope objective 38 and the 3D data set of the patient 19 is known
  • a further aspect of the invention which, however, can also be implemented independently of the features discussed so far, concerns an embodiment of a marker.
  • the following describes a marker-based image processing approach to medical instrument and device navigation that does not require external tracking hardware.
  • An optical recording unit 16 as a measuring camera, for example a small video camera, is located directly on the surgical instrument to be navigated.
  • the location of the optical pickup unit 16 relative to the patient 19 is determined by processing camera image data. Secure tracking is guaranteed by the artificial markers 44 glued or otherwise affixed to or on the patient 19. This makes the whole system not only simpler and faster to use, but also less expensive.
  • Surgical navigation enables a live presentation of the position, ie the position and orientation in space, of surgical or medical instruments in a preoperatively recorded three-dimensional data Set a patient 19 (eg CT volume data) during surgery or diagnosis.
  • 3D data can be generated or data of several modalities can be generated by the navigation of medical instruments from 2D sensors.
  • An example application is a 2D ultrasound probe whose data is navigated to a
  • 3D volume can be combined.
  • Another example is the already described augmented reality overlays (for example, defined target regions, patient structures or slice images from a 3D data set) into the image of optical instruments being navigated. By a navigation of these instruments, z.
  • endoscope or microscope the position of the optics relative to the patient 19 and thus the viewing direction of the optics is known to the patient record.
  • the aim of the method is therefore a simple and robust position determination, which requires no complex system construction, including cumbersome registration processes.
  • the approach is based on processing images that are either taken directly from the respective instrument or device mounted optical pickup unit 16. The processing then typically includes four steps: taking a picture sequence, calculating corresponding feature points in the pictures, calculating one
  • the feature points are detectable by the artificially placed markers 44 in each image. Special algorithms calculate the most unique properties of these points. Based on these properties, corresponding feature points can then be repeatedly detected in different images. By triangulating points found in several images, a 3D model of the considered surface is calculated from the feature points. Finally, the 3D points of this model can be used to calculate the respective position of the optical pickup unit 16 relative to the 3D model, ie the projection matrix that projects the 3D points to the correct position in the new image describes the correct rotation and translation between the optical pickup units 16. This situation is also shown in FIG. Two optical recording units 16 detect the markers 44 arranged on the patient 19. A projection 45 of the markers 44 can then be determined in image planes 43 of the optical recording units 16.
  • Figure 18 shows in plan view several embodiments of structures of the markers 44, all of which have an outer black border, an inner white border, and an inner dot pattern. After the inner white edge, an additional black border can be provided again.
  • the dot pattern as well as the edges may be constructed of square, circular, rectangular or elliptical pixels.
  • the illustrated structures correspond to "finder patterns", which can be reliably detected by means of algorithms. In order to be able to reliably determine a center point, in the exemplary embodiments illustrated, each of the patterns is constructed symmetrically.
  • the marker structures are based on the "finder patterns" of Q.R codes.
  • the artificial feature points have two important features: A simple and robust
  • the simple detectability with image processing algorithms is given by the properties of the "Finder Patterns", which can be found by means of a contour recognition multiple nested contours, and the artificial marker can be clearly defined.
  • the distinctiveness results from the differently defined structures in the middle of the respective marker 44.
  • the peculiarity of the method is that the markers can be distinguished by means of conventional feature descriptors, since the gradients in the image of the environment of the center of each Markers 44 differ by the defined structure. From each marker found, the midpoint is calculated. This point is used as a feature point, resulting in a sequence of four process steps: finder-patter detection by contour recognition,
  • both the selection of patterns, as well as the order and arrangement and, to a certain extent, the size of the placed points can be arbitrary, as long as a minimum number of markers 44 is always visible in the recorded images or recordings.
  • FIG. 19 shows a perspective view of an application example in which an instrument 42, in the case illustrated a biopsy needle for performing a lung biopsy, has been provided with the optical recording unit 16.
  • marker 44 can be determined at any time the camera and biopsy needle position.
  • Possibilities for applying the dots are, for example, pads with printed patterns or slightly sticky dots that can be attached to the patient 19 and easily removed after the procedure. The positions of these points should not change during the current application. These additional points can be used to implement a more robust position estimate, since it can be guaranteed that corresponding point correspondences can be determined in each recorded image.
  • FIG. 20 shows a top view of a patient head 46 together with a medical instrument 42 (now an endoscope), the markers 44 and the optical recording unit 16 attached to the instrument 42.
  • a medical instrument 42 now an endoscope
  • FIGS. 21 and 22 each show a schematic view of a navigated ultrasound application and a navigated microscopy.
  • the microscope sensor 17 can be used to make recordings that allow conclusions about the movement of the microscope sensor 17 directly.
  • three-dimensional reconstructions or additional information can be superimposed into the microscope images.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Automation & Control Theory (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung zur Bildgebung in einem Operationssaal mit einer Röntgenstrahlungsquelle (4), einem Röntgenstrahlungsdetektor (5), einem Roboterarm (1), an dem die Röntgenstrahlungsquelle (4) und der Röntgenstrahlungsdetektor (5) an einer Halterung (2) des Roboterarms (1) angeordnet und an der oder in der Halterung (2) bewegbar sind, und einer Steuereinheit (15) zum Ansteuern des Roboterarms (1).

Description

Vorrichtung zur Bildgebung in einem Operationssaal
Die vorliegende Erfindung betrifft eine Vorrichtung zur Bildgebung in einem Operationssaal.
Kliniken erwirtschaften die Hälfte ihres Umsatzes in Operationssälen. Deshalb werden deren Kosten- und Nutzeneffizienz zunehmend optimiert. Während einer Operation benutzte Bildgebung steigert diese Effizienz, da sie dazu beiträgt, Revisionsoperationen einzusparen. Gleichzeitig verlängert und unterbricht die Anwendung von Bildgebungssystemen jedoch die Operation, wenn auch im günstigsten Fall nur um mehrere Minuten. Die Unterbrechungszeit erhöht sich jedoch drastisch, wenn die Bildgebungssysteme langsam scannen, umständlich zu bedienen sind oder deren Nutzung aufwändig vorzubereiten ist.
Aus dem Stand der Technik sind als Bildgebungssysteme Computertomogra- fen und C-Bögen bekannt. Computertomografen (CT) bestehen aus einem geschlossenen ringförmigen Gehäuse (Gantry), das Röntgenquelle und Rönt- gendetektor aufnimmt und fest in einem Operationssaal installiert ist. Ein zu untersuchender Patient wird in einer Öffnung des Gehäuses positioniert und durch Rotation der Röntgenquelle und des Röntgendetektors Röntgenbildda- ten über einen Rotationsbereich von über 360° akquiriert. CT-Systeme bieten zwar eine sehr hohe Bildqualität, weisen bauartbedingt aber auch einen hohen Raumbedarf auf und versperren während der Bildaufnahme den Zugang zum Patienten. C-Bögen sind flexibler einsetzbar, da an dem eigentlichen C-Bogen die Röntgenquelle und der Röntgendetektor einander gegenüberliegend angeordnet sind. Der C-Bogen wird zur Aufnahme am Patienten positioniert und über einen Winkelbereich von bis zu 200° um den Patienten rotiert. Die erhöhte Flexibilität wird jedoch durch einen geringeren Scanbereich erkauft.
Ein weiteres Problem bei der Verarbeitung derartiger Aufnahmen ergibt sich daraus, dass oftmals nicht alle wesentlichen Informationen verfügbar sind. So werden zwar Operationsmikroskope im Operationssaal zur Vergrößerung von Strukturen im Operationsgebiet eingesetzt. Allerdings muss, um eine zuverläs- sige Navigation erreichen zu können. Die Lage dieses Mikroskops relativ zu einem Patienten jederzeit bekannt sein. Erst dann kann das Suchtfeld des Mikroskops bezüglich des Patienten und somit bezüglich des dreidimensionalen Datensatzes ermittelt werden. Zur Bestimmung von Patienten- und Instrumentenlage ist es (beispielsweise aus DE 10 2015 212 352 AI) bekannt, ein optisches Tracking oder ein elektromagnetisches Tracking durchzuführen. Beim optischen Tracking wird ein externes stereoskopisches Kameramesssystem eingesetzt, das die Anordnung von Reflektorkugeln vermisst und daraus die Lage der Instrumente bzw. des Patienten bestimmt. Deutliche Nachteile dieses Verfahrens sind der eingeschränkte Patientenzugang wegen der zu berücksichtigenden Kamerasichtlinie (Line-of-Sight-Problematik) sowie die hohen Investitionskosten und laufenden Kosten für die erforderlichen Einwegreflektorkugeln. Zudem ist jedem Instrument eine einzigartige Anordnung von Reflektorkugeln zugeordnet, die jeweils eingemessen und spezifiziert werden müssen. Das elektromagnetische Tracking nutzt ein mit einem Feldgenerator erzeugtes Magnetfeld zur Messung der Lage einer Sensorspule am Instrument bzw. Operationsgebiet. Diese Spule ermöglicht es, Aufschluss über die Position und Orientierung zu gewinnen. Wesentliche Nachteile dieses Verfahrens liegen in der hohen Ungenauigkeit und der Störempfindlichkeit gegenüber elektrisch leitfähigen oder ferromagnetischen Materialien.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, eine Vorrichtung vorzuschlagen, die die genannten Nachteile vermeidet, mit der also eine durch Bildgebungssysteme verursachte Unterbrechungsdauer von Operationen minimiert und gleichzeitig möglichst genaue Informationen erlangt werden können.
Diese Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung nach dem unabhängigen Anspruch. Vorteilhafte Ausgestaltungen und Weiterentwicklungen sind in den abhängigen Ansprüchen beschrieben.
Eine Vorrichtung zur Bildgebung in einem Operationssaal weist eine Röntgenstrahlungsquelle, einen Röntgenstrahlungsdetektor, einen Roboterarm, der auch als Manipulator bezeichnet werden kann, und eine Steuereinheit zum Ansteuern des Roboterarms auf. An dem Roboterarm sind die Röntgenstrahlungsquelle und der Röntgenstrahlungsdetektor an einer Halterung des Roboterarms angeordnet und an der Halterung oder in der Halterung bewegbar.
Dies erlaubt einen gleichzeitig kompakten als auch flexibel einsetzbaren Aufbau. Indem der Roboterarm zur Positionierung der Röntgenstrahlungsquelle und des entsprechenden Detektors benutzt wird, kann die Vorrichtung flexibel und schnell in dem Operationssaal eingesetzt werden. Durch die Halterung wird gleichzeitig ein weiter Scanbereich und damit verbunden eine hohe Bildqualität gewährleistet. Unter dem Begriff Röntgenstrahlung soll im Rahmen dieser Schrift elektromagnetische Strahlung im Wellenlängenbereich zwischen 5 und 250 pm verstanden werden. Durch eine Integration in den Operationssaal und eine bedarfsgerechte Verfügbarkeit wird ein Patientenzugang eines Chirurgen nur minimal eingeschränkt. Vorhandene Ausstattung des Operationssaals kann weiter verwendet werden. Eine hohe Flexibilität bei der Positi- onierung reduziert die bei 3D-C-Bögen üblichen Kegelstrahl und Metallartefakte in einer 3D-Rekonstruktion und erhöht das Rekonstruktionsvolumen bedarfsgerecht. Zudem ist die erreichbare Bildqualität bei gleicher Strahlendosis höher.
Die Halterung kann mit einem geschlossenen Gehäuse aus einem für Röntgenstrahlung durchlässigen Werkstoff ausgebildet sein. Durch den Werkstoff kann die Röntgenstrahlung immer noch hindurchtreten, wobei gleichzeitig die Röntgenstrahlungsquelle und der -detektor vor mechanischer Beschädigung und Verschmutzung geschützt sind. Unter dem Begriff "durchlässig" soll im Rahmen dieser Schrift insbesondere verstanden werden, dass mindestens 90 Prozent, vorzugsweise mindestens 95 Prozent einer einfallenden Intensität der Röntgenstrahlung das Gehäuse durchdringen.
Typischerweise ist das Gehäuse ringförmig ausgestaltet, so dass ein zu untersuchender Patient mittig in dem Gehäuse gelagert werden kann und Aufnahmen von allen Seiten gemacht werden können.
Es kann vorgesehen sein, dass der Roboterarm als ein Gelenkarm mit sechs Freiheitsgraden, d. h. drei translatorischen Freiheitsgraden und drei rotatorischen Freiheitsgraden, ausgestaltet ist, um eine maximale Flexibilität zu gewährleisten. Der Roboterarm weist hierzu in der Regel sechs Achsen auf, ist also als Sechsachsroboter ausgebildet.
Vorzugsweise weist der Roboterarm einen Kraftmomentensensor auf, mit dem Kräfte und Drehmomente detektierbar sind. Nach Registrierung entsprechender Kräfte oder Drehmomente und Verarbeitung durch die Steuereinheit kann die Vorrichtung dann infolge des detektierten Signals gesteuert werden.
An der Halterung kann eine Anzeige- und Eingabeeinheit angeordnet sein, die Informationen anzeigen und bzw. oder Eingaben entgegennehmen und an die Steuereinheit weiterleiten kann. Die Informationen können hierbei auch von der Steuereinheit bereitgestellt werden und beispielsweise ausgewertete Aufnahmen umfassen. Die Steuereinheit kann also auch als Steuer- und Auswerteeinheit ausgebildet sein. Ein weiterer Aspekt der Erfindung, der allerdings auch losgelöst von den bisher besprochenen Merkmalen verwirklicht sein kann, betrifft eine optische Aufnahmeeinheit. Sofern diese optische Aufnahmeeinheit gemeinsam mit der zuvor bereits beschriebenen Vorrichtung zum Einsatz kommt, ist sie typi- scherweise an dem Roboterarm angeordnet, besonders vorzugsweise jedoch an der Halterung bzw. dem Gehäuse. Sie kann auch in das Gehäuse integriert sein.
Vorzugsweise weist die optische Aufnahmeeinheit ein Mikroskop auf, um Bil- der mit möglichst hoher Auflösung zu erhalten.
Die Steuereinheit kann dazu ausgebildet oder eingerichtet sein, auf der Anzeige- und Eingabeeinheit zusätzlich zu einer von der optischen Aufnahmeeinheit aufgenommenen Aufnahme weitere Informationen einzublenden, um einem Benutzer möglichst viele Informationen zukommen zu lassen.
Die weiteren Informationen können hierbei ein Schichtbild aus einem von dem Röntgenstrahlungsdetektor aufgenommenen Datensatz, eine Einblendung eines vorab definierten Zielgebiets und bzw. oder eine Struktur eines dreidimensionalen Datensatzes umfassen. Typischerweise sind die weiteren
Informationen mittels markanter Punkte oder Strukturen in der von der optischen Aufnahmeeinheit aufgenommenen Aufnahme ermittelt. In besonders bevorzugter Weise weist die Vorrichtung mindestens einen Marker auf, der einen der markanten Punkte kennzeichnet.
Es kann vorgesehen sein, dass der mindestens eine Marker auf seiner Oberfläche mit einem Muster aus einem aus schwarzen Punkten gebildeten äußeren Rahmen, einem aus weißen Punkten gebildeten inneren Rahmen und einem Punktmuster aus schwarzen und bzw. oder weißen Punkten versehen ist.
Der Marker kann ein symmetrisches aufgebautes Muster aufweisen, um einen Mittelpunkt einfacher bestimmen zu können.
Die beschriebene Vorrichtung kann im Rahmen eines Bildgebungsverfahrens eingesetzt werden bzw. ein entsprechend der zuvor besprochenen Merkmale ausgebildetes Verfahren kann mit der offenbarten Vorrichtung durchgeführt werden.
Ein Computerprogrammprodukt weist eine auf einem maschinenlesbaren Träger, vorzugsweise einem digitalen Speichermedium, gespeicherte Befehls- folge zum Durchführen des beschriebenen Verfahrens und bzw. oder zum
Ansteuern der beschriebenen Vorrichtung auf, wenn das Computerprogrammprodukt auf einer elektronischen Recheneinheit abläuft. Vorzugsweise kann das Computerprogrammprodukt direkt in einen internen Speicher der elektronischen Recheneinheit geladen werden oder ist in diesem bereits ge- speichert und umfasst typischerweise Teile eines Programmcodes zum Durchführen des beschriebenen Verfahrens oder zum Ansteuern der beschriebenen Vorrichtung, wenn das Computerprogrammprodukt auf der elektronischen Recheneinheit abläuft bzw. ausgeführt wird. Das Computerprogrammprodukt kann auch ein Computerprogramm umfassen, das Software mittel zur Durch- führung des beschriebenen Verfahrens und bzw. oder zum Ansteuern der beschriebenen Vorrichtung aufweist, wenn das Computerprogramm in einem Automatisierungssystem oder auf der Steuereinheit ausgeführt wird.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren 1 bis 22 besprochen.
Es zeigen:
Fig. 1 eine perspektivische Ansicht der Vorrichtung zur Bildgebung in einem Operationssaal;
Fig. 2 eine Figur 1 entsprechende Ansicht der Vorrichtung mit Röntgenstrahlungsquelle und -detektor; eine Figur 2 entsprechende Ansicht mit einer Anzeige- und Ausgabeeinheit;
Fig. 4 eine perspektivische Ansicht der Anzeige- und Ausgabeeinheit mit verschiedenen Ansteuerarten;
Fig. 5 eine Figur 2 entsprechende Ansicht mit einer Instrumentenhalterung; Fig. 6 eine seitliche Ansicht des über dem Patienten befindlichen Mikroskops;
Fig. 7 eine Figur 6 entsprechende Darstellung des Stands der Technik;
Fig. 8 eine schematische Ansicht der Erkennung markanter Punkte oder Strukturen im Mikroskopbild;
Fig. 9 eine Figur 8 entsprechende Ansicht der Erkennung markanter Punkte oder Strukturen im dreidimensionalen Raum;
Fig. 10 eine schematische Darstellung der Bestimmung einer Kameralage;
Fig. 11 eine schematische Ansicht der Zuordnung von Punkten und Strukturen;
Fig. 12 eine Ansicht der Aufbereitung von Zusatzinformationen;
Fig. 13 eine schematische Darstellung einer Bestimmung markanter Punkte im dreidimensionalen Raum durch Aufnahme mehrerer Videobilder ;
Fig. 14 eine Figur 13 entsprechende Darstellung mit Aufnahme eines Stereobildpaars;
Fig. 15 eine Figur 13 entsprechende Darstellung mit Aufnahme eines Instruments;
Fig. 16 eine Figur 13 entsprechende Darstellung mit Aufnahme eines Instruments in Stereobildern;
Fig. 17 eine schematische perspektivische Ansicht einer Markerdetektion;
Fig. 18 eine Draufsicht auf verschiedene Markerstrukturen;
Fig. 19 eine perspektivische Ansicht der Markerstrukturen bei einer Lungenbi- opsie;
Fig. 20 eine Draufsicht auf einen Patientenkopf mit aufgebrachten Markern; Fig. 21 eine schematische Ansicht einer Ultraschallanwendung samt Markern und
Fig. 22 eine Figur 21 entsprechende Ansicht einer Mikroskopieanwendung. In Figur 1 ist in einer perspektivischen Ansicht eine Vorrichtung zur Bildgebung in einem Operationssaal dargestellt. Der gezeigte neuartige Lösungsansatz kombiniert die Konzepte Computertomografie, Kegelstrahltomografie und Robotik. Ein Roboterarm 1, der als Sechsachsroboterarm ausgestaltet ist, wird über eine Steuereinheit 15 angesteuert und kann in verschiedene Positionen verfahren werden. Mit einem Ende ist der Roboterarm 1 auf einem Boden des
Operationssaals fixiert, kann in weiteren Ausführungsformen jedoch auch auf einer beweglichen Verfahreinheit gelagert sein. An seinem anderen Ende ist eine Halterung 2 angebracht, die aus einem ringförmigen, allseitig bis auf eine Kabeldurchführung zum Roboterarm 1 geschlossenen Gehäuse besteht, das aus einem für Röntgenstrahlung durchlässigen Werkstoff ausgebildet ist. Die
Vorrichtung umfasst in dem in Figur 1 dargestellten Ausführungsbeispiel einen Sockel 3 für einen Patiententisch 6, jedoch können diese beiden Komponenten in weiteren Ausführungsformen auch entfallen. Mit der dargestellten Vorrichtung kann eine Unterbrechungsdauer einer Operation auf unter zwei Mi- nuten reduziert werden.
Sämtliche Bildgebungskomponenten, also eine Röntgenstrahlungsquelle und ein Röntgenstrahlungsdetektor sind auf einer ringförmigen Struktur mit einem Durchmesser von 1,5 m innerhalb des geschlossenen Gehäuses der Halterung 2 angeordnet und dort drehbar beweglich gelagert. Somit wird eine kontinuierliche Rotation und bzw. oder eine freie Positionierung der Bildgebungskomponenten ermöglicht. Verglichen mit C-Bögen wird daher die Patientensicherheit erhöht, da während des Scans keine Teile offen durch die Rotation bewegt werden und somit keine patientengefährdende Kollisionsgefahr be- steht. Ein ringförmiges Lager, insbesondere ein Kugellager, ermöglicht eine
Bewegung unabhängig von dem Gehäuse durch eine elektromagnetische An- triebseinheit, die beispielsweise über einen Zahnkranz an der bewegten Lagerseite eine oder beide Bildgebungskomponenten verfährt.
In weiteren Ausführungsbeispielen können auch mehrere Röntgenquellen und mehrere Röntgendetektoren verbaut werden. Insbesondere für eine Angiographie oder eine röntgenbasierte Navigation können auch mehr als eine Röntgenstrahlungsquelle-Röntgenstrahlungsdetektor-Kombination eingesetzt werden. Die zweite Kombination der Bildgebungskomponenten wird dann auf der ringförmigen Struktur versetzt geführt. Die Röntgenstrahlungsquelle ver- fügt über ein Blendensystem, das den Strahlenbereich einschränken kann.
Der Röntgenstrahlungsdetektor kann als ein Flachdetektor oder Zeilen- bzw. Matrixdetektor ausgebildet sein. Insbesondere beim Einsatz des Flachdetektors kann die Blende der Röntgenstrahlungsquelle derart elektromotorisch verändert werden, dass der Flachdetektor als Liniendetektor fungiert. Somit kann wie bei der Computertomografie eine einzelne Schicht im dreidimensionalen Raum aufgenommen werden, was potentielle Streustrahlung reduziert.
Konzentrisch zur Ringanordnung können weitere positionierbare mechanische Ringe oder Schienen vorhanden sein. An diesen können beispielsweise (Robo- ter-)Systeme für Biopsien, Lasersysteme für die Therapie o.ä. befestigt sein. Diese lassen sich durch die örtliche relative Lage zwischen dem Bildgebungsund Therapiesystem ideal beispielsweise für automatisierte oder semi- automatisierte operative Eingriffe einsetzen.
Der beschriebene Roboterarm 1 kann sowohl auf dem Boden (wie dargestellt), als auch an einer Wand oder einer Decke des Operationssaals oder Untersuchungsbereichs montiert sein. Eine Kombination der Roboterarmbewegung mit der Bewegung der ringförmigen Struktur ermöglicht bekannte oder neue Bildaufnahmebahnen. Auch lässt sich so ein größerer Bildbereich aufnehmen als die starre Kombination aus Röntgenstrahlungsquelle und Röntgenstrahlungsdetektor ohne Bewegung ermöglicht. Der Roboterarm 1 kann das Gehäuse bzw. die Halterung 2 während der Bildaufnahme gezielt bewegen, um so die Bildqualität zu verbessern und verformte Objekte zu scannen. Typischerweise ist das Gehäuse mit Sensoren versehen, die eine Stellung de Objekts erkennen und eine Kollision vermeiden. Die Sensoren können beispielsweise elektromagnetisch, kapazitiv, induktiv, optisch oder auf Basis von Ultraschall ausgebildet sein. Auch an potentiellen Kollisionsobjekten können Sensoren oder Erfassungseinheiten oder Marker integriert bzw. befestigt sein.
Mindestens ein Kraftmomentensensor am Roboterarm 1, insbesondere zwischen einem Endeeffektor und dem Gehäuse, also am Ende des Roboterarms 1, und bzw. oder an jedem Gelenk des Roboterarms 1 ermöglicht eine Reakti- on auf einwirkende Kräfte oder Drehmomente. Die Sensoren erhöhen die Sicherheit der Vorrichtung, können aber auch gezielt zur Interaktion genutzt werden. Mit der beschriebenen Vorrichtung können auch zweidimensionale Röntgenbilder aufgenommen werden. Gleichzeitig kann das System sehr schnell ohne Gefahr seine Bildaufnahmerichtung verändern und so aus unter- schiedlichen Richtungen Bilder aufnehmen.
In Figur 2 ist in einem Ausführungsbeispiel eine Anordnung der Bildgebungskomponenten zur Kegelstrahl-Computertomografie dargestellt. Wiederkehrende Merkmale sind in dieser Figur wie auch in den folgenden Figuren mit identischen Bezugszeichen versehen. Die Röntgenstrahlungsquelle 4 und der
Röntgenstrahlungsdetektor 5 sind nun einander gegenüberliegend angeordnet und werden in dieser Ausrichtung rotiert, so dass sie aus beliebigen seitlichen Blickwinkeln Durchleuchtungen des Patienten aufnehmen. Zusätzlich können auch weitere Bildgebungskomponenten der optischen Tomografie wie Laser und Kameras, insbesondere 3D-Kameras, verwendet werden. Für derartige optische Sensoren oder Aufnahmeeinheit kann, starr verbunden mit der Röntgenstrahlungsquelle 4 oder dem Röntgenstrahlungsdetektor 5, eine entsprechende Aufnahmeeinheit angeordnet sein und eine Innenseite des Gehäuses für elektromagnetische Strahlung im sichtbaren Bereich, d. h. bei Wel- lenlängen zwischen 400 nm und 780 nm durchlässig sein. Alternativ oder zusätzlich kann auch elektromagnetische Strahlung im infraroten Wellenlängenbereich (d. h. für Wellenlängen zwischen 780 nm und 3 μιη) samt einer entsprechenden Ausgestaltung der Vorrichtung verwendet werden.
Vorzugsweise ist der die Bildgebung führende Roboterarm 1 kollaborativ ausgestaltet, d. h. seine Mechanik ist sensitiv gegenüber Kräften oder kontaktlo- sen Eingaben während der Bewegung. Die Vorrichtung kann beispielsweise handgeführt entlang des Patiententischs 6 bewegt und ausgerichtet werden. Eine Umsetzung der Handführung kann mit einer Anzeige der Vorrichtung kombiniert werden. Wie in Figur 3 dargestellt, kann das Gehäuse der Halte- rung 2 mit einer flächigen Anzeige- und Ausgabeeinheit 7 als Visualisierungseinheit versehen werden bzw. von diesem umschlossen werden. Die Anzeige- und Ausgabeeinheit 7 kann sowohl eine Anzeigefunktion als auch eine Registrierung von Berührungen übernehmen, es können außerdem Bedienelemente oder Scanergebnisse dargestellt werden.
Figur 4 zeigt in einer perspektivischen Ansicht die Anzeige- und Ausgabeeinheit 7 mit verschiedenen Ansteuerarten. Durch eine kraftsensorunterstützte Multi-Touch-Eingabe oder kontaktlose Handgesten kann nämlich gleichzeitig zur Anzeige eine bequeme Ausrichtung der Vorrichtung erreicht werden. Je nachdem, mit welcher Geste und mit welcher Kraft ein Anwender agiert, wird die Position und Orientierung des Gehäuses angepasst. Beispielsweise kann ein Ziehen an einer Gehäusekante 8 eine Rotation des Gehäuses um seine Längsachse bzw. ein Gieren bewirken. Ein Berühren von Gehäuseflächen, beispielsweise der Gehäusegrundfläche 9 oder der Gehäusemantelfläche 10, be- wirkt eine horizontale oder vertikale Bewegung, wie in Figur 4 gezeigt. Bei einem kontaktlosen Verfahren muss die Berührung des Gehäuses nur angedeutet werden. Zur Erhöhung der Bediener- und Patientensicherheit können Tot-Mann-Schalter oder Fußschalter die Eingabe bestätigen bzw. freischalten. Die beschriebene Vorrichtung wird zur Bildaufnahme an den Patienten bewegt und laterale sowie anterior-posteriore Aufnahmen zusammen automatisiert aufgenommen. Dabei bewegt sich die innenliegende, ringförmige Struktur mit den Bildgebungskomponenten beispielsweise in die waagrechte Strahlrichtung, macht dort eine Bildaufnahme, und dann in die horizontale Strahlrichtung, und macht dort noch eine Bildaufnahme. Der Vorgang kann sehr schnell und mit verminderter Kollisionsgefahr erfolgen, da die Bewegung nur innerhalb des ringförmigen Gehäuses erfolgt. Über eine Touch-Anzeige kann ein Scanzentrum bei beiden Durchleuchtungen markiert werden. Die Vorrichtung korrigiert ihre Ausrichtung entsprechend selbst und führt danach automatisiert den dreidimensionalen Scan durch. Einmal am Patiententisch 6 positioniert, kann das Gehäuse auch weitere Module aufnehmen. Wie in Figur 5 in einer perspektivischen Darstellung wiedergegeben, kann ein Haltevorrichtungssockel 11 an einem Gehäusedeckel 12 oder einem Gehäuseboden 13 analog zu den Bildgebungskomponenten, also der Röntgenstrahlungsquelle 4 und dem Röntgenstrahlungsdetektor 5, aber unabhängig von diesen kreisförmig um den Patiententisch 6 bewegt und ausgerichtet werden. Auf diesem Haltevorrichtungssockel 11 können weitere externe Messsysteme oder Aktuatoren angebracht werden, wobei der Haltevorrichtungssockel 11 typischerweise als Gelenkarm ausgestaltet ist, der an einem dem Gehäuse abgewandten Ende eine Haltevorrichtung 14 aufweist.
Somit kann ein Roboterassistenzsystem zum Halten und Führen von chirurgischen Instrumenten befestigt werden, das so mit dem Haltevorrichtungssockel 11 interagieren kann, dass sein Tool Center Point (TCP) während einer Bewegung des Haltevorrichtungssockels 11 im Raum fixiert bleibt. Somit bleibt das chirurgische Instrument ortsfest, während der Roboterarm 1 bedarfsgerecht aus- oder umgerichtet werden kann.
Wie zuvor bereits beschrieben und in Figur 5 auf der rechten Seite dargestellt, kann auch eine optische Aufnahmeeinheit 16 an der oder in der Halterung 2 angeordnet sein. In weiteren Ausführungsbeispielen kann diese optische Aufnahmeeinheit 16 aber auch losgelöst von der Halterung 2 positioniert werden. Die feste Verbindung erlaubt eine direkte Navigation in den von der optischen Aufnahmeeinheit 16 getätigten Aufnahmen. Eine bei externen Navigationssystemen übliche Registrierung des Patienten zum Bilddatensatz entfällt daher, was die Handhabung der klinischen Navigation vereinfacht und neue Möglichkeiten der Automatisierung eröffnet. Zum Beispiel kann ein am Ringgehäuse befestigter Gelenkarm oder Roboterarm eine Führung einer Biopsienadel am Patienten ausrichten. Im ersten Schritt würde ein 3D-Röntgenscan vom Patienten aufgenommen und das zu biopsierende Gewebe vom Operateur auf dem Bedienfeld der Anzeige- und Ausgabeeinheit 7 markiert werden. Der Gelenkarm kann die Führung der Biopsienadel so ausrichten, dass das Einbringen der Nadel das markierte Gewebe exakt entfernt.
Die beschriebene Vorrichtung kann sowohl bei einer medizinischen
Bildgebung als auch einer Bildgebung zur zerstörungsfreien Materialprüfung, industriellen Messtechnik, Sicherheitstechnik und Qualitätssicherung von Le- bensmitteln eingesetzt werden. Zum Beispiel können mit einem entsprechend dimensionierten System Winglets eines Flugzeugs gescannt werden.
Die bereits beschriebene optische Aufnahmeeinheit 16 kann wie in Figur 5 dargestellt an dem Gehäuse angebracht sein, in einer weiteren Ausführungsform jedoch auch losgelöst von dem Gehäuse und ohne Benutzung der zuvor beschriebenen Vorrichtung mit anderen Systemen zur Röntgenbildgebung verwendet werden. Es wird daher nachfolgend ein Verfahren zur Navigation eines digitalen Operationsmikroskops auf Basis von Videobilddaten beschrie- ben, mit dem in ein Videobild des Operationsmikroskops Zusatzinformationen mittels Augmented Reality eingeblendet werden können oder chirurgische Instrumente, die sich im Sichtfeld des Mikroskops bewegen, navigiert werden können.
Zusatzinformationen in diesem Sinne können Planungsdaten für die Operation oder Schichtbilder aus einem präoperativ aufgenommenen dreidimensionalen Patientendatensatz sein. Der präoperativ aufgenommene dreidimensionale Patientendatensatz kann aus Röntgencomputertomografie, Magnetresonanztomografie oder einer anderen dreidimensionalen bildgebenden Methode resultieren. Planungsdaten sind Markierungen im Patientendatensatz, die der Arzt oder ein anderer Benutzer vor der Operation im Datensatz vornimmt, um Strukturen einfacher unterscheiden zu können oder einfacher zu finden. Zu den Planungsdaten gehört insbesondere ein Zielgebiet, das die Strukturen definier, an denen der operative Eingriff stattfindet, oder ein Sicherheitsgebiet, das Strukturen definiert, die unter keinen Umständen verletzt werden dürfen. Schichtbilder, die in das Mikroskopbild eingeblendet werden, werden aus dem Patientendatensatz generiert und zeigen die Sicht des Mikroskops auf den Patienten in einer tieferen Ebene des Patienten. Die Lagebestimmung, d. h. Position und Orientierung, des Operationsmikroskops relativ zu dem Patienten erfolgt direkt durch eine Verarbeitung der Videobilddaten des Operationsmikroskops. Optische oder elektromagnetische Trackingsysteme zum Ermitteln der Patientenlage und der Mikroskoplage werden typischerweise nicht verwendet, können in weiteren Ausführungs- formen aber natürlich zum Einsatz kommen. Außerdem wird durch das Verfahren direkt die Transformation zwischen Mikroskopkamera und Patienten ermittelt, wodurch zusätzliche Kalibrierverfahren entfallen.
Operationsmikroskope werden im Operationssaal zur Vergrößerung von Strukturen im Operationsgebiet eingesetzt. Wie nachfolgend noch erläutert, kann der operative Eingriff mit Hilfe des Operationsmikroskops erleichtert werden, indem Zusatzinformationen in das Bild des Operationsmikroskops eingeblendet werde können oder dadurch, dass im Bild des Operationsmikroskops chirurgische oder andere Hilfsinstrumente navigiert werden können. So können beispielsweise Zusatzinformationen aus dem Patientendatensatz wie Schichtbilder aus einem CT- oder Magnetresonanztomografie-Datensatz
(MRT) in das Mikroskopbild eingeblendet werden. Außerdem kann die Operationsplanung, die Markierung markanter Punkte oder segmentierte Strukturen im dreidimensionalen Datensatz auf das Mikroskopbild projiziert und visuell dargestellt werden. Somit können Operationen sicherer und effizienter gestaltet werden. Beispielsweise können Nervenbahnen im Mikroskopbild visuell hervorgehoben werden. Figur 6 zeigt dies in einer schematischen seitlichen Ansicht. Die optische Aufnahmeeinheit 16 mit dem Mikroskopsensor 17 wird über dem Patienten 19 positioniert. Das Sichtfeld 18 der optischen Aufnahmeeinheit 16 erfasst eine Oberflächenkontur, wobei zum Berechnen ein Koordinatenursprung 21 des Mikroskopkoordinatensystems und ein Koordinatenursprung 20 des dreidimensionalen Patientendatensatzes festgelegt werden. Die relative Lage ist dann durch eine Transformation zwischen den beiden Koordinatensystemen ermittelbar. Bei den in Figur 7 in einer seitlichen Ansicht dargestellten bisherigen und aus dem Stand der Technik bekannten Ansätzen zur Mikroskopnavigation wird eine relative Lage zwischen dem Mikroskop in der optischen Aufnahmeeinheit 16 und dem Patienten 19 über Tracker 22 mittels eines optischen Trackingsys- tems erfasst. Hierzu werden die Lage des jeweiligen Trackers 22 am Mikro- skop und die Lage des Trackers 22 am Patienten 19 durch eine Kamera 23 erfasst und die Lage zwischen dem Mikroskoptracker 22 und dem
Mikroskopobjektiv durch eine Hand-Auge-Kalibrierung sowie zwischen dem Patiententracker 22 und dem Patienten 19 mithilfe einer Patientenregistrierung bestimmt.
Das hier vorgestellte Verfahren hat demgegenüber das Ziel, den Mikroskopanwender durch eine Augmented-Reality-Einblendung von Zusatzinformationen wie beispielsweise ein Schichtbild aus einem CT-Datensatz, eine Einblendung eines vorab definierten Zielgebiets oder einer Struktur aus dem dreidimensionalen Datensatz zu unterstützen. Die Berechnung der dafür benötigten Transformation zwischen dem Mikroskopobjektiv und dem Patienten 19 erfolgt durch eine Verarbeitung der Bildsequenz des Mikroskops.
Hierfür sind typischerweise fünf Schritte nötig: In einem ersten Schritt werden markante Punkte oder Strukturen im Mikroskopbild erkannt. Im zweiten Schritt wir die Lage markanter Punkte oder Strukturen im dreidimensionalen
Raum bestimmt. Nachfolgend wird in einem weiteren Schritt die Kameralage bezüglich der Punkte und Strukturen im dreidimensionalen Raum bestimmt sowie in einem nachgelagerten Schritt die Zuordnung markanter Punkte oder Strukturen zu Punkten oder Strukturen im 3d-Datensatz vollzogen. Schließlich erfolgt eine Aufbereitung von Zusatzinformationen und eine Einblendung in das Mikroskopbild.
Figur 8 zeigt in einer schematischen Ansicht die im ersten Schritt erfolgende Erkennung markanter Punkte oder Strukturen. Markante Punkte 25 oder Strukturen werden in einer Bildsequenz 26 aus Mikroskopaufnahmen zuverlässig wiederholt bestimmt. Hierzu werden aus verschiedenen
Mikroskoppositionen 24 immer wieder Aufnahmen des Patienten 19 gemacht, um daraus die markanten Punkte 25 zu ermitteln. Figur 9 zeigt in einer Figur 8 entsprechenden Ansicht eine Bestimmung der markanten Punkte 25 oder Strukturen im dreidimensionalen Raum. Die erkannten Punkte oder Strukturen werden im dreidimensionalen Raum rekonstruiert, um eine Referenz zum Patientendatensatz herzustellen. Die Bestimmung der Kameralage bezüglich der Punkte und Strukturen im dreidimensionalen Raum ist in Figur 10 dargestellt. Zur Bestimmung des Sichtfelds des Mikroskops bezüglich des 3D-Patientendatensatzes wird die Lage der Kamera bezüglich der rekonstruierten Punkte oder Strukturen im dreidimensionalen Raum bestimmt. In einer Bildebene 27 des Mikroskopobjektivs wird eine Abbildung 29 eines Raumpunkts 30 durch ein optisches Zentrum 31, der in der Hauptebene des Mikroskopobjektivs 28 liegt, erzeugt. Figur 11 zeigt in einer schematischen Ansicht, wie eine Zuordnung der markanten Punkte oder Strukturen zu Punkten oder Strukturen im 3D-Datensatze erfolgt. Die Transformation 34 zwischen dem Mikroskop und dem 3D- Datensatz ergibt sich durch Matchen der markanten Punkte 25 oder Strukturen im dreidimensionalen Raum zu den entsprechenden Punkten oder Strukturen im 3D-Datensatz. Ein Registrieralgorithmus berechnet hierzu die relative Transformation 34 (Rotation und Translation) durch Korrespondenzen 32 zwischen rekonstruierten Punkten 33 im dreidimensionalen Raum und Punkten 25 im präoperativ aufgenommenen 3D-Datensatz.
In Figur 12 ist schließlich dargestellt, wie der finale Schritt des Verfahrens, die Aufbereitung von Zusatzinformationen und die Einblendung in das
Mikroskopbild, erfolgt. Da das Sichtfeld der optischen Aufnahmeeinheit 16 bzw. der Kamera auf den präoperativ aufgenommenen 3D-Patientendatensatz bekannt ist, können Zusatzinformationen aus dem 3D-Datensatz in das Mikroskopbild als Unterstützung für den Operateur eingeblendet werden. Der Mikroskopsensor 37 bzw. das Mikroskopbild wird hierbei mit einer Einblendung 36 der Struktur versehen, die beispielsweise die markierte Struktur 35 als Zielstruktur kennzeichnet.
Figur 13 zeigt ein erstes Verfahren in einer schematischen Darstellung, mit dem die Bestimmung der Lage markanter Punkte 25 oder Strukturen im dreidimensionalen Raum erfolgen kann. Hierbei wird eine Rekonstruktion der Oberfläche 39 des Patienten 19 und eine Lokalisierung der optischen Aufnahmeeinheit 16 durch Aufnahme mehrerer Videobilder aus mehreren Positionen erreicht. Wie zuvor wird durch ein Mikroskopobjektiv 38 eine Abbildung auf dem Mikroskopsensor 17 erreicht. Über die als Datenverarbeitungeinheit ausgestaltete Steuereinheit 15 erfolgt dann eine Darstellung des Mikroskopbilds 37 samt einer Augmented-Reality-Visualisierung 41 auf einem Bildschirm 40.
In einer Figur 13 entsprechenden Darstellung ist in Figur 14 eine Variante der Rekonstruktion gezeigt, bei der ein Stereobildpaar aufgenommen wird. Es sind nun zwei Mikroskopsensoren 17 für Stereosehen vorgesehen und entspre- chend ein Mikroskopobjektiv 38 mit zwei optischen Pfaden für Stereosehen. In einer weiteren Variante zeigt Figur 15 die Bestimmung charakteristischer Punkte im Mikroskopkoordinatensystem durch Lokalisierung eines
Pointerinstruments 42 im Mikroskopbild. Hierbei wird den Pointer 42 oder ein anderes Instrument ein Antasten von Merkmalspunkten durchgeführt zur Pa- tientenregistrierung. Eine Lokalisierung des Pointers 42 bzw. Zeigerinstruments erfolgt durch eine Bildverarbeitung.
Schließlich ist in Figur 16 in einer den Figuren 13 bis 15 entsprechenden Darstellung eine weitere Variante gezeigt, bei der das Instrument 42 anhand der Stereobilder lokalisiert wird. Die Referenz zwischen Patientenoberfläche 39 bzw. Punkten auf der Patientenoberfläche 39 und dem 3D-Datensatz des Patienten 19 wird durch einen Registrieralgorithmus umgesetzt. Die Lokalisierung des Zeigerinstruments 42 erfolgt durch eine Stereolokalisierung aus den Stereobildern. Anschließend ist die Transformation34 zwischen dem Mikroskop samt Mikroskopobjektiv 38 und dem 3D-Datensatz des Patienten 19 bekannt
(d. h. Blickrichtung des Mikroskops auf den Patienten 19), wodurch in das Mikroskopbild 37 Zusatzinformationen eingeblendet werden können.
Ein weiterer Aspekt der Erfindung, der allerdings auch losgelöst von den bis- her besprochenen Merkmalen verwirklicht sein kann, betrifft eine Ausgestaltung eines Markers. Im Folgenden wird ein markergestützter Ansatz der Bildverarbeitung zur Navigation medizinischer Instrumente und Geräte beschrieben, der keine externe Trackinghardware benötigt. Wie in Figur 17 in einer schematischen Ansicht dargestellt, werden hierbei künstlich angebrachte Marker 44 detektiert. Eine optische Aufnahmeeinheit 16 als Messkamera, beispielsweise eine kleine Videokamera, befindet sich direkt am zu navigierenden chirurgischen Instrument. Die Lage der optischen Aufnahmeeinheit 16 relativ zum Patienten 19 wird durch eine Verarbeitung von Kamerabilddaten bestimmt. Ein sicheres Tracking garantieren die künstlichen Marker 44, die am oder auf den Patienten 19 geklebt oder anderweitig befestigt wurden. Dadurch ist das gesamte System nicht nur einfacher und schneller anwendbar, sondern auch kostengünstiger.
Die chirurgische Navigation ermöglicht eine Live-Darstellung der Lage, d. h. der Position und Orientierung im Raum, chirurgischer oder medizinischer Instrumente in einem präoperativ aufgenommenen dreidimensionalen Daten- satz eines Patienten 19 (z. B. CT-Volumendaten) während eines operativen Eingriffs oder bei der Diagnose. Weiterhin können durch die Navigation von medizinischen Instrumenten aus 2D-Sensoren 3D-Daten generiert werden oder Daten mehrerer Modalitäten kombiniert werden. Eine Beispielanwen- dung ist ein 2D-Ultraschallkopf, dessen Daten durch eine Navigation zu einem
3D-Volumen kombiniert werden können. Ein weiteres Beispiel sind die bereits beschriebenen Augmented-Reality-Einblendungen (beispielsweise definierter Zielregionen, Patientenstrukturen oder Schichtbilder aus einem 3D-Datensatz) in das Bild optischer Instrumente, die navigiert werden. Durch eine Navigation dieser Instrumente, z. B. Endoskop oder Mikroskop, ist die Lage der Optik relativ zum Patienten 19 und somit die Blickrichtung der Optik auf den Patientendatensatz bekannt.
Ziel des Verfahrens ist daher eine simple und robuste Positionsbestimmung, die keines aufwändigen Systemaufbaus samt umständlicher Registrierungsprozesse bedarf. Der Ansatz basiert auf einer Verarbeitung von Bildern, die entweder direkt vom jeweiligen Instrument oder der am Gerat montierten optischen Aufnahmeeinheit 16 aufgenommen werden. Die Verarbeitung um- fasst dann typischerweise vier Schritte: Aufnehmen einer Bildsequenz, Be- rechnen korrespondierender Feature-Punkte in den Bildern, Errechnen einer
3D-Punktwolke aus den Feature-Punkten sowie Bestimmung der Kameralage zur Punktewolke.
Die Feature-Punkte sind durch die künstlich angebrachten Marker 44 in jedem Bild detektierbar. Spezielle Algorithmen errechnen möglichst eindeutige Eigenschaften dieser Punkte. Anhand dieser Eigenschaften können danach korrespondierende Feature-Punkte in unterschiedlichen Bildern wiederholt de- tektiert werden. Durch Triangulation von in mehreren Bildern wiedergefundenen Punkten wird aus den Feature-Punkten ein 3D-Modell der betrachteten Oberfläche errechnet. Die 3D-Punkte dieses Modells können schließlich genutzt werden, um die jeweilige Lage der optischen Aufnahmeeinheit 16 relativ zu dem 3D-Modell zu errechnen, d. h. die Projektionsmatrix, die die 3D- Punkte an die richtige Position im neuen Bilde projiziert, beschreibt die korrekte Rotation und Translation zwischen den optischen Aufnahmeeinheiten 16. Diese Situation ist auch in Figur 17 dargestellt. Zwei optische Aufnahmeeinheiten 16 detektieren die auf dem Patienten 19 angeordneten Marker 44. In Bildebenen 43 der optischen Aufnahmeeinheiten 16 ist dann eine Projektion 45 der Marker 44 zu ermitteln. Die Funktionalität dieses bildbasierten Ansat- zes zur Positionsbestimmung hängt maßgeblich von der Anzahl und der Qualität markanter Punkte ab. Insbesondere in vielen medizinischen Anwendungsfällen ist es häufig schwer, natürlich robuste Punkte zu bestimmen, da die betrachteten Konturen (z. B. menschliche Haut) nur schlecht differenzierbare Konturen aufweisen. Durch das zusätzliche Bereitstellen markanter und un- terscheidbarer Punkte wird dieses Problem gelöst.
Figur 18 zeigt in einer Draufsicht mehrere Ausführungsbeispiele von Strukturen der Marker 44, die allesamt einen äußeren schwarzen Rand, einen inneren weißen Rand und ein innenliegendes Punktmuster aufweisen. Nach dem inneren weißen Rand kann nochmals ein zusätzlicher schwarzer Rand vorgesehen sein. Das Punktmuster sowie die Ränder können aus quadratischen, kreisförmigen, rechteckigen oder elliptischen Pixeln aufgebaut sein. Die dargestellten Strukturen entsprechen "Finder Patterns", die sich zuverlässig mittels Algorithmen detektieren lassen. Um sicher einen Mittelpunkt bestimmen zu können, ist in den dargestellten Ausführungsbeispielen jedes der Muster symmetrisch aufgebaut.
Durch Verwenden eines Satzes vordefinierter Marker 44, von denen je nach Bedarf eine bestimmte Anzahl an beliebigen Positionen im Sichtfeld der opti- sehen Aufnahmeeinheit 16 platziert wird. Die Markerstrukturen sind angelehnt an die "Finder Patterns" von Q.R-Codes. Die künstlichen Feature-Punkte haben zwei wichtige Eigenschaften: Eine einfache und robuste
Detektierbarkeit und eine eindeutige Unterscheidbarkeit. Die einfache Detektierbarkeit mit Bildverarbeitungsalgorithmen ist durch die Eigenschaften der "Finder Patterns" gegeben, wodurch mittels einer Konturerkennung mehrere ineinanderliegende Konturen gefunden werden können, und die künstlichen Marker so eindeutig festgelegt werden können. Die Unterscheidbarkeit ergibt sich aus den unterschiedlich definierten Strukturen in der Mitte des jeweiligen Markers 44. Die Besonderheit des Verfahrens ist, dass die Marker mittels konventioneller Feature-Deskriptoren unterschieden werden können, da sich die Gradienten im Bild von der Umgebung des Mittelpunkts jedes Markers 44 durch die definierte Struktur unterscheiden. Von jedem gefundenen Marker wird der Mittelpunkt berechnet. Dieser Punkt wird als Feature- Punkt verwendet, so dass sich eine Abfolge von vier Verfahrensschritten ergibt: Finder-Patter-Erkennung durch eine Konturerkennung,
Mittelpunktsbestimmung aus den Konturen (entspricht Featurepunkt), Bestimmung der Feature-Deskriptoren in der Umgebung der Feature-Punkte und Bestimmung korrespondierender Feature-Punkte (Feature-Matching).
Hierbei kann sowohl die Auswahl an Mustern, als auch die Reihenfolge und Anordnung und bis zu einem gewissen Grad auch die Größe der platzierten Punkte beliebig sein, solange stets eine Mindestanzahl an Markern 44 in den aufgenommenen Bildern bzw. Aufnahmen sichtbar ist.
Figur 19 zeigt in einer perspektivischen Ansicht ein Anwendungsbeispiel, bei dem ein Instrumente 42, im dargestellten Fall eine Biopsienadel zum Durchführen einer Lungenbiopsie, mit der optischen Aufnahmeeinheit 16 versehen wurde. Durch die auf dem Patienten 19 aufgebrachten Marker 44 lässt sich jederzeit die Kamera- und Biopsienadelposition bestimmen.
Möglichkeiten zum Anbringen der Punkte sind beispielsweise Unterlagen mit aufgedruckten Mustern oder leicht klebende Punkte, die am Patienten 19 angebracht und nach dem Eingriff einfach wieder entfernt werden können. Die Positionen dieser Punkte sollen sich während der laufenden Anwendung nicht verändern. Mithilfe dieser zusätzlichen Punkte lässt sich eine robustere Positionsschätzung umsetzen, da garantiert werden kann, dass in jedem aufgenommenen Bild entsprechende Punktkorrespondenzen bestimmbar sind.
In Figur 20 ist in einer Draufsicht ein Patientenkopf 46 samt medizinischem Instrument 42 (nun ein Endoskop), den Markern 44 und der an dem Instrument 42 angebrachten optischen Aufnahmeeinheit 16 dargestellt.
In den Figuren 21 und 22 ist jeweils in einer schematischen Ansicht eine navigierte Ultraschallanwendung und eine navigierte Mikroskopie gezeigt. Durch die Positionsbestimmung der an der Ultraschallsonde 47 angeordneten optischen Aufnahmeeinheit 16 lassen sich nach oder bereits bei Abrastern der Patientenoberfläche 39 dreidimensionale Modelle aus mehreren Ultraschall- bildern ableiten.
Ebenso kann auch der Mikroskopsensor 17 dazu benutzt werden, Aufnahmen anzufertigen, die direkt Rückschlüsse auf die Bewegung des Mikroskopsensors 17 erlauben. Somit können dreidimensionale Rekonstruktionen oder eine Einblendung von Zusatzinformationen in die Mikroskopbilder erfolgen.
Lediglich in den Ausführungsbeispielen offenbarte Merkmale der verschiedenen Ausführungsformen können miteinander kombiniert und einzeln beansprucht werden.

Claims

Patentansprüche
1. Vorrichtung zur Bildgebung in einem Operationssaal mit einer Röntgenstrahlungsquelle (4), einem Röntgenstrahlungsdetektor (5), einem Roboterarm (1), an dem die Röntgenstrahlungsquelle (4) und der Röntgenstrahlungsdetektor (5) an einer Halterung (2) des Roboterarms (1) angeordnet und an der oder in der Halterung (2) bewegbar sind, und einer Steuereinheit (15) zum Ansteuern des Roboterarms (1).
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Halterung (2) mit einem geschlossenen Gehäuse aus einem für Röntgenstrahlung durchlässigen Werkstoff ausgebildet ist, wobei die Röntgenstrahlungsquelle (4) und der Röntgenstrahlungsdetektor (5) innerhalb des geschlossenen Gehäuse bewegbar sind und das geschlossene Gehäuse durch den Roboterarm (1) bewegbar ist.
3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das Gehäuse ringförmig ist.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Roboterarm (1) ein Gelenkarm mit sechs Freiheitsgraden ist.
5. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Roboterarm (1) mindestens einen
Kraftmomentensensor aufweist.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass an der Halterung (2) eine Anzeige- und Eingabeeinheit (7) angeordnet ist.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch ge- kennzeichnet, dass die Vorrichtung eine optische Aufnahmeeinheit
(16) aufweist.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die optische Aufnahmeeinheit (16) an dem Roboterarm (1) angeordnet ist.
9. Vorrichtung nach Anspruch 7 oder Anspruch 8, dadurch gekennzeich- net, dass die optische Aufnahmeeinheit (16) ein Mikroskop (17) aufweist.
10. Vorrichtung nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die Steuereinheit (15) dazu ausgebildet ist, auf der Anzeige- und Eingabeeinheit (7) zusätzlich zu einer von der optischen Aufnah- meeinheit (16) aufgenommenen Aufnahme (37) weitere Informationen (41) einzublenden.
11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die weiteren Informationen (41) ein Schichtbild aus einem von dem Röntgenstrahlungsdetektor (5) aufgenommenen Datensatz, eine Einblen- dung eines vorab definierten Zielgebiets und/oder eine Struktur eines dreidimensionalen Datensatzes umfassen.
12. Vorrichtung nach Anspruch 10 oder Anspruch 11, dadurch gekennzeichnet, dass die weiteren Informationen mittels markanter Punkte oder Strukturen (35) in der von der optischen Aufnahmeeinheit (16) aufgenommenen Aufnahme (37) ermittelt sind.
13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass die Vorrichtung mindestens einen Marker (44) aufweist, der einen der markanten Punkte (35) kennzeichnet. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass der mindestens eine Marker (44) auf seiner Oberfläche mit einem Muster aus einem aus schwarzen Punkten gebildeten äußeren Rahmen, einem aus weißen Punkten gebildeten inneren Rahmen und einem Punktmuster aus schwarzen und/oder weißen Punkten versehen ist.
Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass d Marker (44) ein symmetrisch aufgebautes Muster aufweist.
PCT/EP2017/063981 2016-07-06 2017-06-08 Vorrichtung zur bildgebung in einem operationssaal Ceased WO2018007091A1 (de)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DE102016112388 2016-07-06
DE102016112395.1 2016-07-06
DE102016112388.9 2016-07-06
DE102016112395 2016-07-06
DE102016112374.9 2016-07-06
DE102016112374 2016-07-06

Publications (1)

Publication Number Publication Date
WO2018007091A1 true WO2018007091A1 (de) 2018-01-11

Family

ID=59091481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/063981 Ceased WO2018007091A1 (de) 2016-07-06 2017-06-08 Vorrichtung zur bildgebung in einem operationssaal

Country Status (1)

Country Link
WO (1) WO2018007091A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540887B2 (en) 2020-06-05 2023-01-03 Stryker European Operations Limited Technique for providing user guidance in surgical navigation
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11806081B2 (en) 2021-04-02 2023-11-07 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US12236536B2 (en) 2020-08-17 2025-02-25 Russell Todd Nevins System and method for location determination using a mixed reality device and a 3D spatial mapping camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009036174A2 (en) * 2007-09-13 2009-03-19 Henderson Toby D Imaging positioning system having robotically positioned d-arm
US20110280379A1 (en) * 2010-05-14 2011-11-17 Michael Maschke Imaging apparatus comprising a ring-shaped gantry
US20110280364A1 (en) * 2010-05-14 2011-11-17 Michael Maschke Medical examination device for CT imaging and for nuclear medical imaging
WO2013160303A2 (de) * 2012-04-25 2013-10-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Röntgenquelle mit modul und detektor für optische strahlung
DE102015212352A1 (de) 2015-07-01 2017-01-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren, Anordnung und Computerprogrammprodukt zur Lageerfassung eines zu untersuchenden Objekts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009036174A2 (en) * 2007-09-13 2009-03-19 Henderson Toby D Imaging positioning system having robotically positioned d-arm
US20110280379A1 (en) * 2010-05-14 2011-11-17 Michael Maschke Imaging apparatus comprising a ring-shaped gantry
US20110280364A1 (en) * 2010-05-14 2011-11-17 Michael Maschke Medical examination device for CT imaging and for nuclear medical imaging
WO2013160303A2 (de) * 2012-04-25 2013-10-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Röntgenquelle mit modul und detektor für optische strahlung
DE102015212352A1 (de) 2015-07-01 2017-01-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren, Anordnung und Computerprogrammprodukt zur Lageerfassung eines zu untersuchenden Objekts

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540887B2 (en) 2020-06-05 2023-01-03 Stryker European Operations Limited Technique for providing user guidance in surgical navigation
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US12236536B2 (en) 2020-08-17 2025-02-25 Russell Todd Nevins System and method for location determination using a mixed reality device and a 3D spatial mapping camera
US12290271B2 (en) 2020-08-17 2025-05-06 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11806081B2 (en) 2021-04-02 2023-11-07 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US11871997B2 (en) 2021-04-02 2024-01-16 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11610378B1 (en) 2021-10-04 2023-03-21 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras

Similar Documents

Publication Publication Date Title
EP2840975B1 (de) Röntgenquelle mit modul und detektor für optische strahlung
EP3330922B1 (de) Verfahren und vorrichtung zum darstellen eines objektes
DE69322202T2 (de) System und Verfahren zur Verbesserung von endoskopischer Chirurgie
EP2082687B1 (de) Überlagerte Darstellung von Aufnahmen
DE69431875T2 (de) Anordnung zur bestimmung der gegenseitigen lage von körpern
EP1803399B1 (de) Verfahren und Vorrichtung zur Bestimmung der Ist-Position einer Struktur eines Untersuchungsobjektes in einem Koordinatensystem
WO2014068106A1 (de) Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung
WO2012049038A1 (de) Operationsnavigationssystem mit strukturiertem licht
EP0682919A2 (de) Verfahren zum Korrelieren verschiedener Koordinatensysteme in der rechnergestützten, stereotaktischen Chirurgie
WO2018007091A1 (de) Vorrichtung zur bildgebung in einem operationssaal
DE9117261U1 (de) Am Kopf anzuwendendes Lokalisationssystem für eine chirurgische Sonde
EP0799434A1 (de) Mikroskop, insbesondere stereomikroskop und verfahren zum überlagern zweier bilder
WO1994003100A1 (de) Verfahren zur darstellung des inneren von körpern
CH684291A5 (de) Operationsmikroskop zur rechnergestützten, stereotaktischen Mikrochirurgie, sowie Verfahren zu dessen Betrieb.
EP3626176B1 (de) Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
WO2011144412A1 (de) Bestimmung und überprüfung der koordinatentransformation zwischen einem röntgensystem und einem operationsnavigationssystem
WO2008058520A2 (de) Vorrichtung zur bereitstellung von bildern für einen operateur
WO2019149400A1 (de) Verfahren zur positionsplanung eines aufnahmesystems eines medizinischen bildgebenden geräts und medizinisches bildgebendes gerät
EP4463096B1 (de) Automatisierte registrierung von präoperativen volumenbilddaten mittels suchbild
DE102014210046A1 (de) Operationsmikroskopsystem
EP2111814B1 (de) Verfahren zum Registrieren eines mit fächerförmigen Abbildungsstrahlen generierten 2D-Bilddatensatzes im Bereich der Medizin und dazugehöriges Computerprogrammprodukt sowie Verfahren und System zur automatischen Registrierung eines Körpers basierend auf 2D-Bilddaten zum Einsatz in medizinischen Navigationssystemen
DE102008009266A1 (de) Kalibrierung einer Instrumentenlokalisierungseinrichtung mit einer Bildgebungsvorrichtung
DE102020200959A1 (de) Aufnahme eines Panoramadatensatzes eines Untersuchungsobjektes mittels eines beweglichen medizinischen Röntgengerätes
DE102023101117A1 (de) Verfahren zur medizintechnischen Navigation
DE102012200686A1 (de) Verfahren und Vorrichtung zur Positionierung einer Röntgenvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17731495

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17731495

Country of ref document: EP

Kind code of ref document: A1