EP1977392A2 - Method and device for representing multichannel image data - Google Patents
Method and device for representing multichannel image dataInfo
- Publication number
- EP1977392A2 EP1977392A2 EP07700200A EP07700200A EP1977392A2 EP 1977392 A2 EP1977392 A2 EP 1977392A2 EP 07700200 A EP07700200 A EP 07700200A EP 07700200 A EP07700200 A EP 07700200A EP 1977392 A2 EP1977392 A2 EP 1977392A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- image data
- channel
- data
- image
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
- A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
- A61B6/4241—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using energy resolving detectors, e.g. photon counting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Definitions
- the present invention relates to a method and apparatus for displaying multi-channel image data.
- the invention provides a method of displaying multi-channel image data according to claim 1.
- the invention provides an apparatus for displaying multichannel image data according to claim 17. Further aspects emerge from the following description and the drawings, in particular the description of preferred embodiments.
- iodine-containing contrast agents which are administered intravenously during the preparation of computed tomography images and, on the other hand, gadolinium-containing contrast agents used in magnetic resonance imaging are of particular practical importance in medical imaging.
- contrast agents offer considerable medical advantages. Although these are not the subject of the present patent application, they are important for the understanding of the technical-economic importance. By reducing the dose of the abovementioned contrast agents, their undesirable effects in patients can be reduced, and it could also be used to examine patients in whom the use of contrast media so far appears to be contraindicated.
- a typical one An example is the reduced-dose use of iodinated contrast agents in computed tomography in patients with kidney dysfunction.
- Step 1 First, multi-dimensional, d. H.
- Multi-channel image data e.g. B. by a multi-energy computed tomography, by simultaneously or temporally successively recorded by the same patient image data sets in equivalent object position with different tube voltages.
- There is a reconstruction of image data sets wherein in the special case of dual-energy computed tomography typically the site-specific X-ray absorption for two different energy ranges (tube voltages) is calculated. From this one obtains in the simplest case two image data sets which represent a bispectral data set, d. H.
- Step 2 In a second step, a detection or identification of contrast agent takes place.
- the site-specific X-ray absorption values of the bispectral data set are input into an identifier which calculates estimated values for the location-dependent presence and / or the location-dependent concentration of the contrast agent.
- Step 3 In a next step, the output of the identifier is used to synthesize a new image data set in which the brightness values of pixels are changed, typically upscaled, using the output of the identifier. Pixels on which the identifier has detected the presence of contrast agent or has determined a specific concentration of the contrast agent are assigned a higher gray value.
- Step 4 Finally, this synthetic image is output on a suitable output means and can also be manipulated there, e.g. B. windowed by user control, be.
- Step 3a As an alternative to steps 3 and 4, the two image data sets can be simultaneously (superimposed) on a suitable output means, for. On the monitor of a viewing station of a PACS system, whereby an image data set is synthesized, for which the information of both image data sets is used.
- the Representation of the two image data sets are controlled by the observer controlled or temporally, z. B. according to a predetermined pattern, be changeable.
- FIG. 1 A scheme of methods and apparatus for the sequence of the above steps is shown in FIG.
- multi-channel image data or raw data from which multidimensional image data can be calculated, processed and visualized are multidimensional, d. H. multi-channel image data or raw data from which multidimensional image data can be calculated, processed and visualized.
- image data sets from the following modalities: computed tomography (CT), magnetic resonance tomography (MRT), positron emission tomography (PET), single photon emission computed tomography (SPECT), optical coherence tomography, ultrasound, conventional projection radiography.
- CT computed tomography
- MRT magnetic resonance tomography
- PET positron emission tomography
- SPECT single photon emission computed tomography
- optical coherence tomography ultrasound, conventional projection radiography.
- “Multidimensionality” or “multichannelness” means that not only a single scalar image information is present at a pixel (eg a single signal intensity, a single value for the local X-ray absorption, etc.), but that each image location is represented by more than one can characterize only number
- N denotes the set of natural numbers, x, y, z the location coordinates of the respective pixel.
- pixel pixel
- voxel voxel
- contrast agents and / or radionuclides dynamic multiphase CT, MRI, PET, SPECT, contrast-enhanced MRI, eg perfusion MRI, contrast agent dynamics
- contrast agents and / or radionuclides dynamic multiphase CT, MRI, PET, SPECT, contrast-enhanced MRI, eg perfusion MRI, contrast agent dynamics
- Energy-resolved CT in particular dual or multiple source CT (in particular also equipped with multi-line detectors or flat panel detectors), in which two or more X-ray sources are operated simultaneously or at different times in the image data acquisition, especially when the different X-ray sources operated with different physical parameters in particular different tube voltage and / or current (or different mAs product).
- this description also applies to methods and devices in which the X-radiation is generated at locally different focal spots within an X-ray tube simultaneously or at different times, in particular alternately (so-called "flying spot” or "Z-sharp” technology), in particular if the energy spectrum and / or the radiation intensity is different for the different focal spots.
- Computed tomography with energy-selective detectors in this case the radiation received by each detector element is dissolved in at least two different energy ranges in any manner, for example by the use of hardening filters (eg copper) after passage through a first detector through further, behind Detectors a slightly modified in their spectral composition (hardened) radiation is collected, or the sensitivity characteristic of the detectors for the detection of radiation of different energy ranges is varied over time. This results in the ability to reconstruct image data sets that take into account the location-dependent X-ray absorption in different energy ranges.
- hardening filters eg copper
- Detectors a slightly modified in their spectral composition (hardened) radiation is collected, or the sensitivity characteristic of the detectors for the detection of radiation of different energy ranges is varied over time.
- MRI with multi-dimensional image data acquisition methods in which several physical parameters can be measured for each location of the imaged object (eg by True-FISP inversion recovery sequences), diffusion sequences with different parameters (eg b-values), temporal successive or simultaneous acquisition of data with different signal characteristics with respect to repetition time, echo time or other MRT sequence parameters or different sequence types.
- contrast media or temporally variable recording conditions eg so-called functional MRI
- Multidimensional image data sets from the multi-energy CT (dual or multiple source CT or CT with energy-resolving detectors, see above), in which special contrast agents are used, namely iodine-containing contrast agents and contrast agents containing atoms with atomic numbers greater than the atomic number of iodine, in particular Xenon, barium or gadolinium.
- Multidimensional image data sets obtained by methods or devices for X-ray detection by means of charge integration and / or phonon counting, eg. In the sense of "counting and integrating readout", as described, for example, in the publications [4,5], in which case it does not matter whether such X-ray detection is used in the context of projection radiography, angiography or computed tomography.
- Multidimensional image data sets the production of which uses methods or devices for generating X-rays which do not require thermoelectric emission of electrons from a cathode material, e.g. B. by using carbon nanotubes such. B. analogous to the generation of X-rays described in publication [6].
- image data acquisition, image synthesis and / or image data visualization are spatially and / or temporally separated.
- image and “image data set” are used as synonyms. Specifically, in the description and in the claims, no distinction is made between 2D images and 3D data sets.
- the invention not only includes imaging in biomedical applications, but z. Also imaging for security applications, in particular CT, X-ray, MRI, ultrasound, optical procedures for security controls, Material testing and customs applications as well as acquisition of multi-spectral data in satellite remote sensing.
- the multidimensional image data sets are fed to preferred embodiments in a second step an identifier, which provides an estimate for location-dependent properties of the object under investigation, for. B. the location-dependent presence and / or the location-dependent concentration of certain substances calculated. It does not matter whether raw data or already reconstructed images are used to calculate such estimates. In the simplest case, there are already reconstructed multidimensional image data as input of the identifier. In particular, it is possible that the identifier calculates its output data not only on the basis of pixel or voxel-specific image properties, but also that image properties of the pixel or voxel neighborhood or also global image information are used.
- the identifier can be structured differently. In the simplest case, it is a classifier or function approximator in which the pixel-specific vector (eg the signal intensities or gray levels of the individual channels) is input for each pixel and therefrom the estimated value for the location-dependent presence and / or the location-dependent concentration Substances or the location-dependent size of physical, chemical or biological properties of the examined object is calculated. Examples of such identifiers are different forms of linear and nonlinear classifiers or function approximators, neural networks, e.g. B.
- multilayer perceptrons eg, trained by "error back propagation"
- radial basis function networks support vector machines, local models, different forms of next-neighbor classifiers, rule-based classifiers, processing by any mathematical operations , eg difference formation or weighted summation of the input channels, threshold value operations, vector quantizers, clustering algorithms, eg learning vector quantization (LVQ), self-organizing maps (SOM), exploratory morphogenesis (XOM), genetic or evolutionary algorithms
- LVQ learning vector quantization
- SOM self-organizing maps
- XOM exploratory morphogenesis
- the identifier provides estimates of the location-dependent presence and / or concentration of certain material properties or substances, e.g. B. Presence or concentration of contrast agent.
- This result is output (or stored, eg, in DICOM format, or transferred, eg, into a PACS system) or used in a next step to synthesize a new image data set in which the properties of pixels (in particular, gray levels, color, transparency, luminance) based thereon, optionally using the multichannel raw data, the multichannel reconstructed image data or a single channel visualization data set or any combination thereof together with the output of the identifier to synthesize the output image data set.
- the properties of pixels in particular, gray levels, color, transparency, luminance
- contrast agents For the special case of the detection of contrast agents, it is possible, depending on the output of the identifier, for those pixels with an altered pixel property (eg an increased gray value or an altered color, transparency, luminance) at which contrast agents were identified or a high estimate of the contrast medium concentration was determined. It is z. For example, it is possible to change the pixel characteristics (eg gray values, colors, transparency, luminance) of the image data records depending on the probability of the presence of contrast agent or depending on the estimated concentration of the contrast agent in such a way that the image locations are highly probable high concentrations are more clearly visible, for example by higher gray values.
- an altered pixel property eg an increased gray value or an altered color, transparency, luminance
- n be the number of energy channels used. Either in a first case an image reconstruction takes place, which not only uses the information of a single energy channel but also of several energy channels, or in a second case n image data sets are first reconstructed from the individual n energy channels. H. for the reconstruction of a single image data set only the information of a single energy channel is used.
- an image data set (referred to below as the visualization data record) takes into account the information of more than one input channel.
- this already results from the reconstruction in the second case a new visualization data set can be calculated after the reconstruction on the basis of the reconstructed images of the individual channels.
- a primitive method would be, for example, the arithmetic averaging of the gray values of the reconstructed image data from the individual channels, but any algorithms are conceivable as long as they each use the information of more than one single channel, in particular PCA, XOM, SOM.
- PCA XOM
- SOM single channel
- the pixel-specific properties (gray values, colors, luminance, transparency) of the single-channel visualization data set are changed on the basis of the output of the identifier, resulting in a new image data set that is output, stored or transferred graphically.
- the visualization data set may be transmitted or stored separately from the output of the identifier, the information of both data sets being merged at a later time or at a different location for purposes of visualization or graphical output, e.g. B. is superimposed.
- particular embodiments are methods and apparatuses in which the output data of the identifier in combination with the visualization data set or the output data of the identifier in combination with the single channel data or the output data of the identifier in combination with the visualization data set and the Single channel data (in particular in DICOM format), stored, transferred to a computer network, in particular to a PACS system, or, in particular mutually superimposed, visualized.
- a computer network in particular to a PACS system, or, in particular mutually superimposed, visualized.
- a typical situation would be the following:
- the image data acquisition takes place z. B. after administration of a reduced compared to the conventional procedure contrast agent dose.
- a visualization data set is generated.
- the single channel specific raw or image data is used to calculate in an identifier estimates of the probability of site-specific presence or the site-specific concentration of contrast agent.
- the output data of the identifier, as well as the image data are stored in DICOM format or transferred to a PACS system.
- the console computer of the imaging device or the viewing stations of the PACS system is then the graphical output, at the same time the visualization data set and the output data of the identifier or a synthesized from both data sets image data set are output.
- those pixels on which a high contrast agent concentration was detected by the identifier are upscaled in comparison to the visualization data set with regard to their gray values, so that the image impression of an examination with a higher contrast agent dose is produced.
- the output data (these consist of the output of the identifier or a synthesized image data set, which is calculated based on the output of the identifier, a single-channel visualization data set and / or the multi-channel raw or reconstructed image data sets or any combination of said data sets has been optically output (eg on the monitor of an operating or post-processing console of an image acquisition device, on the monitor of the viewing station of a PACS system, on the monitor of any computer on which a biomedical image data viewer is installed, eg a DICOM viewer, on a projector or a printer).
- optically output eg on the monitor of an operating or post-processing console of an image acquisition device, on the monitor of the viewing station of a PACS system, on the monitor of any computer on which a biomedical image data viewer is installed, eg a DICOM viewer, on a projector or a printer).
- a particular embodiment is a situation where it is indicated during output (or printout) that it is a synthesized image data set, or display image synthesis parameters or input data used for image synthesis, or their type or properties. Such displays can be done, for example, by text superimposed text annotations, color markers or graphic symbols.
- methods and devices are to be mentioned in which the output images can be manipulated, in particular by user control, in particular by windowing, alteration of contrast or image brightness, color, luminance, transparency etc.
- the parameters or input data of the image synthesis are temporally variable or can be influenced or controlled by user action, for.
- the weighting of input data channels e.g. B. interactive or time-varying, z. B. oscillating, alpha-blending.
- computer mice, joysticks, touchscreens and keyboards are to be mentioned in particular (possibly also developed especially for this purpose).
- a particular situation involves methods and apparatuses in which image data can be accessed simultaneously without using an identifier from multi-channel image data acquisitions, e.g. B. superimposed on a dispensing means, characterized in that the representation on the output means can be influenced or controlled by the user or is temporally variable.
- Image synthesis can take place here: from the multichannel raw data, the multi-channel reconstructed image data, from a single-channel visualization data record and / or the output of an identifier in the sense presented above. However, the involvement of such an identifier is also optional here.
- the weighting of input data channels e.g. B. user-controlled or time-varying, z. B. oscillating, alpha-blending.
- input data channels e.g. B. user-controlled or time-varying, z. B. oscillating, alpha-blending.
- possibilities for user-controlled influencing computer mice, joysticks, touchscreens and keyboards are to be mentioned in particular (possibly also developed especially for this purpose).
- a chronologically oscillating alpha blending should be mentioned, in particular even if its parameters, in particular the oscillation frequency, can be controlled by the user. For example, become a multidimensional image data set
- n is to represent the number of individual channels, (N: quantity of natural numbers) and x, y, z the location coordinates of the respective pixel, for example, the output s (x, y, z) at the pixel (x, y, z) are calculated at time t by:
- mapping rules f (b t , t) are detected, / is any, inter alia, of the time t dependent function in the mathematical sense.
- Multichannel Image Data Acquisition Conceivable alternatives to the acquisition of multi-channel image data have already been outlined above.
- a particular variant consists in the fact that multichannel data are produced by carrying out any image processing operations (for example arbitrary filtering, for example edge enhancement) on single-channel data, the result again being able to be interpreted as an image data record. The combination of the original single channel data together with the result of the image processing operation can then be interpreted as a multi-channel data set.
- image processing operations for example arbitrary filtering, for example edge enhancement
- Multichannel raw data consist of angle-dependent radiation intensity values measured by CT detectors, which can be represented as so-called “sinograms" or the signal intensity values detected by RF receivers in MRT apparatuses Image data records can be reconstructed.
- Multichannel reconstructed image data It is image data obtained on the basis of the raw data. With multi-channel raw data, it is not necessary to use the information of exactly one raw data channel for the reconstruction of an image data channel. An image data channel may also be based on the information of multiple raw data channels. For the further steps, it is also not absolutely necessary that image data be explicitly reconstructed. The subsequent identification and / or image synthesis can also take place directly on the basis of the raw data.
- Single Channel Visualization Data Set Such a single channel image data set for purposes of visualization is characterized by being calculated based on information from more than one raw or image data channel.
- the identifier receives as input the information of more than one raw or image data channel. From this, it calculates site-specific properties of the examined object, for example estimated values for the probability and / or location-dependent concentration of specific substances or the location-dependent presence or strength of physical, chemical or biological properties.
- the output of the identifier may serve as input to the synthesis of a new image data set or may be considered by itself as an output of the system which may be stored, transmitted or transmitted via a suitable output means e.g. B. can be output graphically.
- Image synthesis For a first alternative, this is done based on the output of the identifier, where a new image data set is generated based on:
- an identifier is not essential, i. H. Image synthesis may also be based only on multichannel raw data, multichannel reconstructed image data, a single channel visualization data set, or any combinations thereof.
- Output data are the result of the image synthesis or optionally - as a special alternative - the output of the identifier without subsequent image synthesis.
- the output data may be stored (eg in the DICOM format customary in medical imaging), transferred to a computer network (eg in the sense of a PACS system) or output, e.g. B. on the monitor of any computer, in particular a main or auxiliary console computer of an imaging device, on the monitor of a viewing station of a PACS system or connected to a PACS system computer.
- An output can also be printed out (eg on film or paper printers) or it can be displayed with a wide variety of projection devices.
- Controllability or Temporal Variability This aspect represents a particularly important class of preferred embodiments, but is not mandatory.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
Description
Verfahren und Vorrichtung zur Darstellung mehrkanaliger Bilddaten Method and device for displaying multi-channel image data
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung mehrkanaliger Bilddaten. Nach einem Aspekt stellt die Erfindung ein Verfahren zur Darstellung mehrkanaliger Bilddaten nach Anspruch 1 bereit. Nach einem zweiten Aspekt stellt die Erfindung eine Vorrichtung zur Darstellung mehrkanaliger Bilddaten nach Anspruch 17 bereit. Weitere Aspekte ergeben sich aus der nachfolgenden Beschreibung und den Zeichnungen, insbesondere der Beschreibung bevorzugter Ausführungsbeispiele.The present invention relates to a method and apparatus for displaying multi-channel image data. In one aspect, the invention provides a method of displaying multi-channel image data according to claim 1. In a second aspect, the invention provides an apparatus for displaying multichannel image data according to claim 17. Further aspects emerge from the following description and the drawings, in particular the description of preferred embodiments.
1. Wirtschaftlich-technische Bedeutung sowie medizinische Bedeutung1. Economic-technical importance as well as medical importance
In den letzten Jahren sind biomedizinische B ildgebungs verfahren in den Brennpunkt des Interesses getreten, bei denen in äquivalenter Objektposition simultan mehrere Bilddatensätze erhoben werden, wobei für die einzelnen Datensätze veränderte physikalische Parameter oder gar unterschiedliche physikalische Bildgebungsverfahren Anwendung finden. Hieraus resultieren multidimensionale Bilddatensätze (Mehrkanal-Bilddatensätze), in denen jeder Bildort durch mehr als nur eine einzige Zahl charakterisiert wird. Explizit seien hier nur zwei Beispiele erwähnt: Die energieaufgelöste Computertomographie (z. B. als Dual Source CT oder als CT mit energieselektiven Detektoren) und die Gewinnung von MR-Daten, aus denen Bilder mit unterschiedlicher Signalcharakteristik (z. B. Tl-, T2-, PD-Wichtung) rekonstruiert werden können, d. h. für jeden Bildort gleichzeitig mehrere physikalische Parameter ermittelt werden (z. B. durch Anwendung von True-FISP Inversion Recovery Sequenzen).In recent years, biomedical imaging methods have come into the focus of attention, in which an equivalent number of image data sets are acquired simultaneously in an equivalent object position, using altered physical parameters or even different physical imaging methods for the individual data sets. This results in multidimensional image data sets (multi-channel image data sets) in which each image location is characterized by more than a single number. Explicitly, only two examples are mentioned here: energy-resolved computed tomography (eg as a dual-source CT or as CT with energy-selective detectors) and the acquisition of MR data from which images with different signal characteristics (eg T1, T2 -, PD weighting) can be reconstructed, d. H. several physical parameters are determined simultaneously for each image location (eg by using True-FISP inversion recovery sequences).
Es besteht die Hoffnung, durch die gleichzeitige Analyse aller Eingangskanäle in solchen multidimensionalen Datensätzen mehr Information über das abgebildete Objekt zu erhalten, als durch die isolierte Analyse von Einkanalbildern möglich wäre. Methoden zur Extraktion und Visualisierung derartiger nutzbringender Zusatzinformation haben in die medizinische Praxis jedoch noch keinen nennenswerten Eingang gefunden.It is hoped that through the simultaneous analysis of all input channels in such multi-dimensional data sets, more information about the imaged object can be obtained than would be possible through the isolated analysis of single-channel images. However, methods for extracting and visualizing such beneficial additional information have not found any appreciable value in medical practice.
Eine erhebliche wirtschaftliche Bedeutung könnte der oben skizzierte Ansatz zur Gewinnung von Mehrkanal-Bilddatensätzen dadurch erhalten, daß die Hoffnung besteht, durch die Verwendung komplementärer Bildinformation aus unterschiedlichen Eingangskanälen die Dosis von extern appliziertem Kontrastmittel reduzieren, d. h. dessen Detektionsschwelle erhöhen zu können. Von besonderer praktischer Bedeutung in der medizinischen Bildgebung sind hierbei derzeit einerseits jodhaltige Kontrastmittel, die intravenös bei der Anfertigung von Computertomographieaufnahmen appliziert werden, andererseits gadoliniumhaltige Kontrastmittel, die in der Magnetresonanztomographie Verwendung finden.Of considerable economic importance could be the approach outlined above for obtaining multichannel image data sets by hoping that by using complementary image information from different input channels, the dose of externally applied contrast agent could be reduced; H. to be able to increase its detection threshold. On the one hand, iodine-containing contrast agents which are administered intravenously during the preparation of computed tomography images and, on the other hand, gadolinium-containing contrast agents used in magnetic resonance imaging are of particular practical importance in medical imaging.
Eine derartig reduzierte Detektionsschwelle für Kontrastmittel bietet erhebliche medizinische Vorteile. Obwohl diese nicht Gegenstand der vorliegenden Patentanmeldung sind, sind sie für das Verständnis der technisch-wirtschaftlichen Bedeutung wichtig. Durch eine Dosisreduktion der oben genannten Kontrastmittel können nämlich deren unerwünschte Wirkungen bei Patienten reduziert werden, und es könnten auch Patienten damit untersucht werden, bei denen bislang die Anwendung von Kontrastmittel kontraindiziert erscheint. Ein typisches Beispiel ist die dosisreduzierte Anwendung jodhaltiger Kontrastmittel in der Computertomographie bei Patienten mit Funktionsstörungen der Nieren.Such a reduced detection threshold for contrast agents offers considerable medical advantages. Although these are not the subject of the present patent application, they are important for the understanding of the technical-economic importance. By reducing the dose of the abovementioned contrast agents, their undesirable effects in patients can be reduced, and it could also be used to examine patients in whom the use of contrast media so far appears to be contraindicated. A typical one An example is the reduced-dose use of iodinated contrast agents in computed tomography in patients with kidney dysfunction.
Jede auch noch so geringe Verbesserung der Detektierbarkeit derartiger Kontrastmittel hätte somit erhebliche wirtschaftliche Konsequenzen für den Kontrastmittelmarkt und ist eine existentielle Bedrohung der auf deren Herstellung und Vermarktung spezialisierten Unternehmen. Umgekehrt könnte jedoch ein Gewinn für die medizintechnische Industrie entstehen, denn die erhöhte Detektierbarkeit von Kontrastmittel muß durch die Anschaffung neuer, hierzu geeigneter Geräte erkauft werden.Any improvement in the detectability of such contrast agents, even the slightest, would thus have considerable economic consequences for the contrast agent market and is an existential threat to the companies specializing in their production and marketing. Conversely, however, a gain for the medical device industry could arise, because the increased detectability of contrast media must be bought by the purchase of new, suitable equipment for this purpose.
Nachfolgend wird eine Erfindung beschrieben, die es ermöglicht, in der medizinischen Praxis diagnostischen Nutzen aus der Information von Mehrkanal-Datensätzen zu ziehen.An invention will be described below which makes it possible to derive diagnostic benefit from multichannel data set information in medical practice.
Zunächst wird die Erfindung an einem typischen Beispiel beschrieben. Aus Gründen der Einfachheit und Verständlichkeit wird hierbei ein spezifischer Fall vorweggenommen. Vielfältige Verallgemeinerungen und Spezifizierungen erfolgen in den nachfolgenden Abschnitten.First, the invention will be described by way of a typical example. For the sake of simplicity and intelligibility, a specific case is anticipated here. Various generalizations and specifications are given in the following sections.
2. Typisches Szenario2. Typical scenario
Schritt 1: Zunächst werden multidimensionale, d. h. Mehrkanal-Bilddaten, z. B. durch eine Mehrenergie-Computertomographie erhoben, indem simultan oder zeitlich aufeinanderfolgend von ein und demselben Patienten Bilddatensätze in äquivalenter Objektposition mit unterschiedlichen Röhrenspannungen aufgenommen werden. Es erfolgt eine Rekonstruktion zu Bilddatensätzen, wobei im speziellen Fall der Dual-Energy- Computertomographie typischerweise die ortsspezifische Röntgenabsorption für zwei unterschiedliche Energiebereiche (Röhrenspannungen) errechnet wird. Hieraus erhält man im einfachsten Fall zwei Bilddatensätze, die einen bispektralen Datensatz repräsentieren, d. h. für jeden Bildort existieren zwei Röntgenabsorptionswerte.Step 1: First, multi-dimensional, d. H. Multi-channel image data, e.g. B. by a multi-energy computed tomography, by simultaneously or temporally successively recorded by the same patient image data sets in equivalent object position with different tube voltages. There is a reconstruction of image data sets, wherein in the special case of dual-energy computed tomography typically the site-specific X-ray absorption for two different energy ranges (tube voltages) is calculated. From this one obtains in the simplest case two image data sets which represent a bispectral data set, d. H. There are two X-ray absorption values for each image location.
Schritt 2: In einem zweiten Schritt erfolgt eine Detektion bzw. Identifikation von Kontrastmittel. Hierzu werden die ortsspezifischen Röntgenabsorptionswerte des bispektralen Datensatzes in einen Identifikator eingegeben, der Schätzwerte für das ortsabhängige Vorhandensein und/oder die ortsabhängige Konzentration des Kontrastmittels errechnet.Step 2: In a second step, a detection or identification of contrast agent takes place. For this purpose, the site-specific X-ray absorption values of the bispectral data set are input into an identifier which calculates estimated values for the location-dependent presence and / or the location-dependent concentration of the contrast agent.
Schritt 3: In einem nächsten Schritt wird die Ausgabe des Identifikators verwendet, um einen neuen Bilddatensatz zu synthetisieren, bei dem die Helligkeitswerte von Bildpunkten unter Verwendung der Ausgabe des Identifikators verändert, typischerweise hochskaliert werden, d.h. Bildpunkte, an denen der Identifikator das Vorhandensein von Kontrastmittel erkannt hat oder eine bestimmte Konzentration des Kontrastmittels ermittelt hat, werden mit einem höheren Grauwert belegt.Step 3: In a next step, the output of the identifier is used to synthesize a new image data set in which the brightness values of pixels are changed, typically upscaled, using the output of the identifier. Pixels on which the identifier has detected the presence of contrast agent or has determined a specific concentration of the contrast agent are assigned a higher gray value.
Schritt 4: Schließlich wird dieses synthetische Bild auf einem geeigneten Ausgabemittel ausgegeben und kann dort auch manipuliert, z. B. durch Benutzersteuerung gefenstert, werden.Step 4: Finally, this synthetic image is output on a suitable output means and can also be manipulated there, e.g. B. windowed by user control, be.
Schritt 3a: Alternativ zu den Schritten 3 und 4 können die beiden Bilddatensätze gleichzeitig (überlagert) auf einem geeigneten Ausgabemittel, z. B. auf dem Monitor einer Viewing- Station eines PACS-Systems, ausgegeben werden, wobei ein Bilddatensatz synthetisiert wird, für den die Information beider Bilddatensätze verwendet wird. Insbesondere kann die Darstellung der beiden Bilddatensätze durch den Beobachter gesteuert beeinflußt werden oder zeitlich, z. B. nach einem vorgegebenen Muster, veränderlich sein.Step 3a: As an alternative to steps 3 and 4, the two image data sets can be simultaneously (superimposed) on a suitable output means, for. On the monitor of a viewing station of a PACS system, whereby an image data set is synthesized, for which the information of both image data sets is used. In particular, the Representation of the two image data sets are controlled by the observer controlled or temporally, z. B. according to a predetermined pattern, be changeable.
Ein Schema für Verfahren und Vorrichtung für die Abfolge obiger Schritte ist in Abb. 1 dargestellt.A scheme of methods and apparatus for the sequence of the above steps is shown in FIG.
3. Detaillierte Beschreibung3. Detailed description
Mit dem Verfahren bzw. der Vorrichtung werden multidimensionale, d. h. mehrkanalige Bilddaten oder Rohdaten, aus denen multidimensionale Bilddaten errechnet werden können, verarbeitet und visuell dargestellt. Hierbei seien explizit Bilddatensätze aus folgenden Modalitäten erwähnt: Computertomographie (CT), Magnetresonanztomographie (MRT), Positronen-Emissions-Tomographie (PET), Single Photon Emission Computed Tomography (SPECT), optischer Kohärenztomographie, Ultraschall, konventionelle Projektionsradiographie. „Multidimensionalität" bzw. „Mehrkanaligkeit" besagt, daß an einem Bildpunkt nicht nur eine einzige skalare Bildinformation vorliegt (z. B. eine einzelne Signalintensität, ein einzelner Wert für die lokale Röntgenabsorption etc.), sondern daß man jeden Bildort durch mehr als eine einzige Zahl charakterisieren kann. Im allgemeinen handelt es sich also um Bilddatensätze, bei denen die Eigenschaften eines jeden Bildpunktes durch mehr als eine einzelne reelle Zahl gekennzeichnet sind im Sinne eines Vektors reeller ZahlenWith the method or the device are multidimensional, d. H. multi-channel image data or raw data from which multidimensional image data can be calculated, processed and visualized. Here, explicit reference is made to image data sets from the following modalities: computed tomography (CT), magnetic resonance tomography (MRT), positron emission tomography (PET), single photon emission computed tomography (SPECT), optical coherence tomography, ultrasound, conventional projection radiography. "Multidimensionality" or "multichannelness" means that not only a single scalar image information is present at a pixel (eg a single signal intensity, a single value for the local X-ray absorption, etc.), but that each image location is represented by more than one can characterize only number. In general, therefore, they are image data sets in which the properties of each pixel are characterized by more than a single real number in the sense of a vector of real numbers
at (x,y, z) e % i e {l,K n e N , wobei N hier die Menge der natürlichen Zahlen kennzeichnet, x, y, z die Ortskoordinaten des jeweiligen Bildpunktes. Es sei erwähnt, daß die Begriffe „Pixel", „Bildpunkt" und „Voxel" unabhängig von der Dimensionalität des Bilddatensatzes als Synonyme gebraucht werden.a t (x, y, z) e% ie {l, K N, where N here denotes the set of natural numbers, x, y, z the location coordinates of the respective pixel. It should be noted that the terms "pixel", "pixel" and "voxel" are used as synonyms, regardless of the dimensionality of the image data set.
Eingeschlossene Spezialfälle behandeln insbesondere Situationen, bei denen die a,Trapped special cases deal in particular with situations in which the a,
• zeitlich hintereinander aufgenommene oder errechnete Werte sind (im Sinne von sog. „4D-Datensätzen"), zum Beispiel aufgenommene zeitliche Folgen von Bilddatensätzen unter Variation experimenteller Bedingungen (z. B. funktionelle MR- Tomographie)• Values recorded or calculated one after the other are (in the sense of so-called "4D data sets"), for example recorded temporal sequences of image data sets under variation of experimental conditions (eg functional MR tomography)
• oder zeitlich hintereinander aufgenommene oder errechnete Werte nach Gabe von Kontrastmittel und/oder Radionukliden (dynamische mehrphasige CT, MRT, PET, SPECT, kontrastmittelverstärkte MRT, z. B. Perfusions-MRT, Kontrastmitteldynamik) repräsentieren und/oder• or chronologically recorded or calculated values after administration of contrast agents and / or radionuclides (dynamic multiphase CT, MRI, PET, SPECT, contrast-enhanced MRI, eg perfusion MRI, contrast agent dynamics) and / or
• unterschiedliche Akquisitionstechniken angewandt wurden, z. B. unterschiedliche Röhrenspannungen beim Mehrenergie-CT, unterschiedliche Energiebereiche der detektierten Strahlungsenergie bei energieauflösenden CT-Detektoren, unterschiedliche Röhrenströme oder mAs-Produkte bei Röntgen- und CT- Verfahren, unterschiedliche Wahl von Akquisitionsparametern innerhalb derselben Modalität, z. B. bei der Gewinnung von MRT-Bilddatensätzen (z. B. Kombination von Tl-, T2- und PD-gewichtet akquirierten Daten) oder die kombinierte Verwendung unterschiedlicher Akquisitionsmodalitäten, insbesondere PET-CT oder PET-MR. Hier kann es sich sowohl um Bilddatensätze handeln, die durch Kombinationsgeräte aufgenommen worden sind als auch um Datensätze, die auf unterschiedlichen Geräten erhoben wurden und einer nachfolgenden Bilddatenregistrierung unterzogen werden. Auf dem Gebiet der MRT seien explizit angesprochen: Verfahren, bei denen für jeden Ort des abgebildeten Objektes mehrere physikalische Parameter gemessen werden können (z. B. durch True-FISP-Inversion Recovery Sequenzen), Diffusionssequenzen mit unterschiedlichen Parametern (z. B. b-Values). Schließlich seien nuklearmedizinische Verfahren mit gleichzeitiger oder zeitlich versetzter Anwendung unterschiedlicher Radionuklide und/oder energieauflösender Detektoren erwähnt. • different acquisition techniques have been used, eg B. different tube voltages in multi-energy CT, different energy ranges of the detected radiation energy in energy-resolving CT detectors, different tube currents or mAs products in X-ray and CT methods, different choice of acquisition parameters within the same modality, eg. In the acquisition of MRI image data sets (eg combination of Tl, T2 and PD weighted acquired data) or the combined use of different acquisition modalities, in particular PET-CT or PET-MR. Here they may be image data sets taken by combination devices as well as data sets collected on different devices and subjected to subsequent image data registration. Explicitly addressed in the field of MRI are methods in which several physical parameters can be measured for each location of the imaged object (eg by True-FISP inversion recovery sequences), diffusion sequences with different parameters (eg b -values). Finally, mention should be made of nuclear medicine methods with simultaneous or staggered use of different radionuclides and / or energy-resolving detectors.
Es sei betont, daß es für Verfahren und Vorrichtung irrelevant ist, ob die weiteren Schritte auf der Grundlage von mehrkanaligen Rohdaten oder mehrkanaligen rekonstruierten Bilddaten erfolgen.It should be emphasized that it is irrelevant to the method and apparatus whether the further steps are based on multi-channel raw data or multi-channel reconstructed image data.
In besonderem Maße sollen Verfahren und Vorrichtungen zur Darstellung von Daten aus folgenden Bildakquisitionsmodalitäten erwähnt werden:Particular mention should be made of methods and devices for displaying data from the following image acquisition modalities:
• Energieaufgelöste CT, insbesondere Dual oder Multiple Source CT (insbesondere auch mit Mehrzeilen-Detektoren oder Flachbilddetektoren ausgestattet), bei der bei der Bilddatenakquisition zwei oder mehr Röntgenquellen gleichzeitig oder zeitlich versetzt betrieben werden, insbesondere dann, wenn die unterschiedlichen Röntgenquellen mit unterschiedlichen physikalischen Parametern betrieben werden, insbesondere unterschiedliche Röhrenspannung und/oder -ström (bzw. unterschiedliches mAs-Produkt). Sinngemäß gilt diese Beschreibung auch für Verfahren und Vorrichtungen, bei denen innerhalb einer Röntgenröhre gleichzeitig oder zeitlich versetzt, insbesondere alternierend (sog. „flying spot"- oder „z-sharp"- Technolgie), die Röntgenstrahlung an örtlich unterschiedlichen Brennflecken erzeugt wird, insbesondere, wenn das Energiespektrum und/oder die Strahlungsintensität für die unterschiedlichen Brennflecke unterschiedlich ist.• Energy-resolved CT, in particular dual or multiple source CT (in particular also equipped with multi-line detectors or flat panel detectors), in which two or more X-ray sources are operated simultaneously or at different times in the image data acquisition, especially when the different X-ray sources operated with different physical parameters in particular different tube voltage and / or current (or different mAs product). Analogously, this description also applies to methods and devices in which the X-radiation is generated at locally different focal spots within an X-ray tube simultaneously or at different times, in particular alternately (so-called "flying spot" or "Z-sharp" technology), in particular if the energy spectrum and / or the radiation intensity is different for the different focal spots.
• Computertomographie mit energieselektiven Detektoren: hierbei wird die von jedem Detektorelement empfangene Strahlung auf beliebige Weise in mindestens zwei unterschiedliche Energiebereiche aufgelöst, beispielsweise dadurch, daß durch die Verwendung aufhärtender Filter (z. B. Kupfer) nach Durchtritt durch einen ersten Detektor durch weitere, dahinterliegende Detektoren eine in ihrer spektralen Zusammensetzung etwas modifzierte (aufgehärtete) Strahlung aufgefangen wird, oder die Empfϊndlichkeitscharakteristik der Detektoren für die Detektion von Strahlung unterschiedlicher Energiebereiche zeitlich variiert wird. Hierdurch ergibt sich die Möglichkeit, Bilddatensätze zu rekonstruieren, die die ortsabhängige Röntgenabsorption in unterschiedlichen Energiebereichen berücksichtigen.Computed tomography with energy-selective detectors: in this case the radiation received by each detector element is dissolved in at least two different energy ranges in any manner, for example by the use of hardening filters (eg copper) after passage through a first detector through further, behind Detectors a slightly modified in their spectral composition (hardened) radiation is collected, or the sensitivity characteristic of the detectors for the detection of radiation of different energy ranges is varied over time. This results in the ability to reconstruct image data sets that take into account the location-dependent X-ray absorption in different energy ranges.
• Es ist für die Erfindung irrelevant, ob die Ermittlung der energiespezifischen Datensätze und/oder die nachfolgenden Verarbeitungsschritte (Identifikation, Bildsynthese) direkt auf der Grundlage der CT-Rohdaten (z. B. im Sinne von energie- oder röntgenquellen-spezifischen Sinugrammen) erfolgt oder ob zunächst unter der getrennten Verwendung der einzelnen Detektorenkanäle bzw. röntgenquellen- spezifischen Signale Bilddaten rekonstruiert werden.It is irrelevant for the invention whether the determination of the energy-specific data records and / or the subsequent processing steps (identification, image synthesis) is carried out directly on the basis of the CT raw data (eg in the sense of energy or X-ray source-specific sinugrams) or whether image data are first reconstructed under the separate use of the individual detector channels or x-ray source-specific signals.
• MRT mit mehrdimensionaler Bilddatenakqusition: Verfahren, bei denen für jeden Ort des abgebildeten Objektes mehrere physikalische Parameter gemessen werden können (z. B. durch True-FISP-Inversion Recovery Sequenzen), Diffusionssequenzen mit unterschiedlichen Parametern (z. B. b-Values), zeitlich aufeinanderfolgende oder simultane Akquisition von Daten mit unterschiedlicher Signalcharakteristik bezüglich Repetitionszeit, Echozeit oder anderer MRT- Sequenzparameter oder unterschiedlicher Sequenztypen.• MRI with multi-dimensional image data acquisition: methods in which several physical parameters can be measured for each location of the imaged object (eg by True-FISP inversion recovery sequences), diffusion sequences with different parameters (eg b-values), temporal successive or simultaneous acquisition of data with different signal characteristics with respect to repetition time, echo time or other MRT sequence parameters or different sequence types.
• Dynamische MRT, CT, PET, SPECT, optische Verfahren, Ultraschall, bei denen zeitlich hintereinander mehrere Datensätze aufgenommen werden, insbesondere nach Gabe von Kontrastmittel oder bei zeitlich veränderlichen Aufnahmebedingungen (z. B. sog. funktionelle MRT).• Dynamic MRI, CT, PET, SPECT, optical procedures, ultrasound, in which several data sets are taken in chronological succession, in particular after the administration of contrast media or temporally variable recording conditions (eg so-called functional MRI).
• Ganz besonders hervorzuheben sind multidimensionale Bilddatensätze, bei denen Kontrastmittel in geringerer Dosis appliziert wird, als bei nicht mehrdimensionaler Bilddatenakquisition üblich. Durch die mehrdimensionale Bilddatenakquisition kann hierbei die Detektierbarkeit von Kontrastmittel erhöht werden, wodurch weniger Kontrastmittel verabreicht werden muß. Insbesondere ist hier zu erwähnen: Intravenöse Applikation von jodhaltigen Kontrastmitteln bei CT- und Röntgenuntersuchungen sowie intravenöse Applikation von Gadolinium-haltigen Kontrastmitteln in der MRT.• Particularly noteworthy are multidimensional image data sets, in which contrast medium is applied in a lower dose than is usual with non-multidimensional image data acquisition. Due to the multidimensional image data acquisition, the detectability of contrast agent can be increased, whereby less contrast agent has to be administered. In particular, it should be mentioned here: Intravenous administration of iodine-containing contrast agents in CT and X-ray examinations and intravenous administration of gadolinium-containing contrast agents in MRI.
• Multidimensionale Bilddatensätze aus der Mehrenergie-CT (Dual- oder Multiple Source CT oder CT mit energieauflösenden Detektoren, s. o.), bei denen spezielle Kontrastmittel Anwendung finden, nämlich jodhaltige Kontrastmittel sowie Kontrastmittel, die Atome mit Ordnungszahlen größer als die Ordnungszahl von Jod enthalten, insbesondere Xenon, Barium oder Gadolinium.Multidimensional image data sets from the multi-energy CT (dual or multiple source CT or CT with energy-resolving detectors, see above), in which special contrast agents are used, namely iodine-containing contrast agents and contrast agents containing atoms with atomic numbers greater than the atomic number of iodine, in particular Xenon, barium or gadolinium.
• Multidimensionale Bilddatensätze aus der MRT, bei denen spezielle Kontrastmittel Anwendung finden: Kontrastmittel, die Gadolinium oder Eisenoxidpartikel enthalten.• Multidimensional image data sets from MRI using special contrast agents: contrast agents containing gadolinium or iron oxide particles.
• Multidimensionale Bilddatensätze, die durch Verfahren oder Vorrichtungen zur Röntgendetektion mittels Ladungsintegration und/oder Phontonenzählung gewonnen werden, z. B. im Sinne von „counting and integrating readout", wie z. B. in den Publikationen [4,5] beschrieben. Hierbei spielt es keine Rolle, ob eine derartige Röntgendetektion im Rahmen von Projektionsradiographie, Angiographie oder Computertomographie eingesetzt wird.Multidimensional image data sets obtained by methods or devices for X-ray detection by means of charge integration and / or phonon counting, eg. In the sense of "counting and integrating readout", as described, for example, in the publications [4,5], in which case it does not matter whether such X-ray detection is used in the context of projection radiography, angiography or computed tomography.
• Multidimensionale Bilddatensätze, zu deren Erzeugung Verfahren oder Vorrichtungen zur Erzeugung von Röntgenstrahlen eingesetzt werden, die keine thermoelektrische Emission von Elektronen aus einem Kathodenmaterial voraussetzen, z. B. durch Verwendung von Carbon Nanotubes, wie z. B. analog zur in der Publikation [6] beschriebenen Erzeugung von Röntgenstrahlen.Multidimensional image data sets, the production of which uses methods or devices for generating X-rays which do not require thermoelectric emission of electrons from a cathode material, e.g. B. by using carbon nanotubes such. B. analogous to the generation of X-rays described in publication [6].
Es ist für die Erfindung auch irrelevant, ob die Bilddatenakquisition, Bildsynthese und/oder Bilddatenvisualisierung räumlich und/oder zeitlich getrennt erfolgen.It is also irrelevant to the invention whether the image data acquisition, image synthesis and / or image data visualization are spatially and / or temporally separated.
In der gesamten Beschreibung werden die Begriffe „Bild" und „Bilddatensatz" als Synonyme verwendet. Speziell wird in der Beschreibung und in den Ansprüchen nicht zwischen 2D- Bildem und 3D-Datensätzen unterschieden.Throughout the description, the terms "image" and "image data set" are used as synonyms. Specifically, in the description and in the claims, no distinction is made between 2D images and 3D data sets.
Es sei darauf hingewiesen, daß die Erfindung nicht nur Bildgebung in biomedizinischen Anwendungen einschließt, sondern z. B. auch Bildgebung für Sicherheitsanwendungen, insbesondere CT, Röntgen, MRT, Ultraschall, optische Verfahren für Sicherheitskontrollen, Materialprüfungen und Zollanwendungen sowie Akquisition von multispektralen Daten in der Satellitenfernerkundung.It should be noted that the invention not only includes imaging in biomedical applications, but z. Also imaging for security applications, in particular CT, X-ray, MRI, ultrasound, optical procedures for security controls, Material testing and customs applications as well as acquisition of multi-spectral data in satellite remote sensing.
Die multidimensionalen Bilddatensätze werden nach bevorzugten Ausführungsbeispielen in einem zweiten Schritt einem Identifikator zugeführt, der einen Schätzwert für ortsabhängige Eigenschaften des untersuchten Objektes, z. B. das ortsabhängige Vorhandensein und/oder die ortsabhängige Konzentration bestimmter Substanzen errechnet. Hierbei spielt es keine Rolle, ob Rohdaten oder bereits rekonstruierte Bilder verwendet werden, um derartige Schätzwerte zu errechnen. Im einfachsten Fall liegen als Eingabe des Identifikators bereits rekonstruierte multidimensionale Bilddaten vor. Es ist insbesondere möglich, daß der Identifikator seine Ausgabedaten nicht nur auf der Grundlage pixel- oder voxelspezifischer Bildeigenschaften berechnet, sondern daß auch Bildeigenschaften der Pixel- oder Voxelnachbarschaft oder auch globale Bildinformation herangezogen wird.The multidimensional image data sets are fed to preferred embodiments in a second step an identifier, which provides an estimate for location-dependent properties of the object under investigation, for. B. the location-dependent presence and / or the location-dependent concentration of certain substances calculated. It does not matter whether raw data or already reconstructed images are used to calculate such estimates. In the simplest case, there are already reconstructed multidimensional image data as input of the identifier. In particular, it is possible that the identifier calculates its output data not only on the basis of pixel or voxel-specific image properties, but also that image properties of the pixel or voxel neighborhood or also global image information are used.
Der Identifikator kann unterschiedlich aufgebaut sein. Im einfachsten Fall handelt es sich um einen Klassifikator oder Funktionenapproximator, in den für jedes Pixel der pixelspezifische Vektor (z. B. der Signalintensitäten bzw. Grauwerte der Einzelkanäle) eingegeben wird und daraus der Schätzwert für das ortsabhängige Vorhandensein und/oder die ortsabhängige Konzentration bestimmter Substanzen oder die ortsabhängige Größe physikalischer, chemischer oder biologischer Eigenschaften des untersuchten Objektes errechnet wird. Beispiele für solche Identifϊkatoren sind unterschiedliche Formen linearer und nichtlinearer Klassifϊkatoren oder Funktionenapproximatoren, neuronale Netze, z. B. Multilayer- Perceptrons (z. B. durch „error back-propagation" trainiert), Radiale-Basisfunktionen- Netzwerke, Support Vector Machines, lokale Modelle, unterschiedliche Formen von Nächste- Nachbar-Klassifikatoren, regelbasierte Klassifikatoren, Verarbeitung durch beliebige mathematische Operationen, z. B. Differenzbildung oder gewichtete Summation der Eingangskanäle, Schwellwertoperationen, Vektorquantisierer, Clustering-Algorithmen, z. B. Learning Vector Quantization (LVQ), selbstorganisierende Karten (SOM), explorative Morphogenese (XOM), genetische oder evolutionäre Algorithmen. Insbesondere seien hier alle Verfahren erwähnt, die in Standardwerken der Neuroinformatik und Mustererkennung aufgeführt sind, z. B. [1], [2], [3].The identifier can be structured differently. In the simplest case, it is a classifier or function approximator in which the pixel-specific vector (eg the signal intensities or gray levels of the individual channels) is input for each pixel and therefrom the estimated value for the location-dependent presence and / or the location-dependent concentration Substances or the location-dependent size of physical, chemical or biological properties of the examined object is calculated. Examples of such identifiers are different forms of linear and nonlinear classifiers or function approximators, neural networks, e.g. B. multilayer perceptrons (eg, trained by "error back propagation"), radial basis function networks, support vector machines, local models, different forms of next-neighbor classifiers, rule-based classifiers, processing by any mathematical operations , eg difference formation or weighted summation of the input channels, threshold value operations, vector quantizers, clustering algorithms, eg learning vector quantization (LVQ), self-organizing maps (SOM), exploratory morphogenesis (XOM), genetic or evolutionary algorithms Here are all the procedures mentioned in standard works of neuroinformatics and pattern recognition, eg [1], [2], [3].
Es können zur Berechnung der Schätzwerte auch nichtlokale, also mehr als ein Pixel umfassende Bildmerkmale verwendet werden (Filter, Kantenverstärkung, beliebige Vorverarbeitung). - Wesentlich ist nur, daß zur Berechnung der Schätzwerte die Information von mehr als einem Einzelkanal (oder Rohdatenkanal) genutzt wird.It is also possible to use nonlocal image features, ie more than one pixel, for calculating the estimated values (filter, edge enhancement, random preprocessing). What is important is that the information from more than one single channel (or raw data channel) is used to calculate the estimates.
Als Ergebnis liefert der Identifikator Schätzwerte für das ortsabhängige Vorhandensein und/oder die Konzentration bestimmter Materialeigenschaften oder Substanzen, z. B. Vorliegen oder Konzentration von Kontrastmittel. Dieses Ergebnis wird ausgegeben (oder gespeichert, z. B. im DICOM-Format, oder transferiert, z. B. in ein PACS-System) oder in einem nächsten Schritt benutzt, um einen neuen Bilddatensatz zu synthetisieren, bei dem die Eigenschaften von Bildpunkten (insbesondere Grauwerte, Farbe, Transparenz, Luminanz) auf dessen Grundlage ermittelt werden, wobei optional die mehrkanaligen Rohdaten, die mehrkanaligen rekonstruierten Bilddaten oder ein einkanaliger Visualisierungsdatensatz oder beliebige Kombinationen hiervon zusammen mit der Ausgabe des Identifikators verwendet werden, um den Ausgabebilddatensatz zu synthetisieren.As a result, the identifier provides estimates of the location-dependent presence and / or concentration of certain material properties or substances, e.g. B. Presence or concentration of contrast agent. This result is output (or stored, eg, in DICOM format, or transferred, eg, into a PACS system) or used in a next step to synthesize a new image data set in which the properties of pixels (in particular, gray levels, color, transparency, luminance) based thereon, optionally using the multichannel raw data, the multichannel reconstructed image data or a single channel visualization data set or any combination thereof together with the output of the identifier to synthesize the output image data set.
Für den Spezialfall der Detektion von Kontrastmittel ist es möglich, in Abhängigkeit von der Ausgabe des Identifikators diejenigen Bildpunkte mit einer veränderten Pixeleigenschaft (z. B. einem erhöhten Grauwert oder einer veränderten Farbe, Transparenz, Luminanz) zu belegen, an denen Kontrastmittel identifiziert bzw. ein hoher Schätzwert für die Konzentration des Kontrastmittels ermittelt wurde. Dabei ist es z. B. möglich, in Abhängigkeit von der Wahrscheinlichkeit des Vorhandenseins von Kontrastmittel oder in Abhängigkeit von der geschätzten Konzentration des Kontrastmittels die Pixeleigenschaften (z. B. Grauwerte, Farben, Transparenz, Luminanz) der Bilddatensätze derart zu verändern, daß die Bildorte mit hoher Wahrscheinlichkeit bzw. hoher Konzentration deutlicher sichtbar sind, beispielsweise durch höhere Grauwerte.For the special case of the detection of contrast agents, it is possible, depending on the output of the identifier, for those pixels with an altered pixel property (eg an increased gray value or an altered color, transparency, luminance) at which contrast agents were identified or a high estimate of the contrast medium concentration was determined. It is z. For example, it is possible to change the pixel characteristics (eg gray values, colors, transparency, luminance) of the image data records depending on the probability of the presence of contrast agent or depending on the estimated concentration of the contrast agent in such a way that the image locations are highly probable high concentrations are more clearly visible, for example by higher gray values.
Als besonderes Ausfuhrungsbeispiel sei hierbei folgendes Vorgehen für die energieaufgelöste CT (Dual oder Multiple Source CT oder CT mit energieauflösenden Detektoren) beschrieben: Sei n die Anzahl der verwendeten Energiekanäle. Es erfolgt entweder in einem ersten Fall eine Bildrekonstruktion, die nicht nur die Information eines einzigen Energiekanals, sondern mehrerer Energiekanäle verwendet, oder es werden in einem zweiten Fall aus den einzelnen n Energiekanälen zunächst n Bilddatensätze rekonstruiert, d. h. für die Rekonstruktion eines einzelnen Bilddatensatzes wird nur jeweils die Information eines einzigen Energiekanals verwendet. (Alternativ ist es auch möglich, mehrere unterschiedliche Bilddatensätze zu berechnen, wobei für die Berechnung der Einzeldatensätze die Information der Rohdaten mehrerer Energiekanäle herangezogen wird, dennoch die energieaufgelöste Bilddatenakquisition jedoch dazu führt, daß sich die errechneten Bilddatensätze unterscheiden: Beispielsweise ließe sich aus der gemeinsamen Verwendung von zwei Rohdatensätzen, die mit Röhrenspannungen von 140 kV und 80 kV aufgenommen worden sind, mehrere Bilddatensätze errechnen, die jeweils das Absorptionsverhalten für (nahezu) „monochromatische" Röntgenstrahlung, z. B. mit Energien von 80 kV, 90 kV, 100 kV, 110 kV, 120 kV, 130 kV, 140 kV repräsentieren. Die Anzahl n der Kanäle der Rohdaten muß also nicht mit der Anzahl der Kanäle m der rekonstruierten Bilddaten übereinstimmen.)As a special embodiment, the following procedure for the energy-resolved CT (dual or multiple source CT or CT with energy-resolving detectors) is described here: Let n be the number of energy channels used. Either in a first case an image reconstruction takes place, which not only uses the information of a single energy channel but also of several energy channels, or in a second case n image data sets are first reconstructed from the individual n energy channels. H. for the reconstruction of a single image data set only the information of a single energy channel is used. (Alternatively, it is also possible to calculate a plurality of different image data sets, wherein the information of the raw data of several energy channels is used for the calculation of the individual data sets, yet the energy-resolved image data acquisition leads to the fact that the calculated image data sets differ: For example, could be from the common use of two raw data sets taken with tube voltages of 140 kV and 80 kV, calculate several image data sets which each show the absorption behavior for (nearly) "monochromatic" X-radiation, eg with energies of 80 kV, 90 kV, 100 kV, 110 kV, 120 kV, 130 kV, 140 kV, so the number n of channels of the raw data need not coincide with the number of channels m of the reconstructed image data.)
Es erfolgt in beiden Fällen die Berechnung eines Bilddatensatzes (im folgenden Visualisierungsdatensatz genannt), der die Information von mehr als einem Eingangskanal berücksichtigt. Im ersten Fall ergibt sich dies schon aus der Rekonstruktion, im zweiten Fall kann nach erfolgter Rekonstruktion auf der Grundlage der rekonstruierten Bilder der Einzelkanäle ein neuer Visualisierungsdatensatz errechnet werden. Ein primitives Verfahren wäre hierbei beispielsweise die arithmetische Mittelung der Grauwerte der rekonstruierten Bilddaten aus den Einzelkanälen, jedoch sind beliebige Algorithmen denkbar, so lange sie jeweils die Information von mehr als einem Einzelkanal verwenden, insbesondere PCA, XOM, SOM. Für die Erfindung ist es irrelevant, ob die Bildberechnungen in einem Bild-, Konsolen-, oder Nebenkonsolenrechner der CT- Anlage oder in einem beliebigen anderen Rechner, z. B. eines PACS-Systems, oder einem spzeiellen Server erfolgen.In both cases, the calculation of an image data set (referred to below as the visualization data record) takes into account the information of more than one input channel. In the first case this already results from the reconstruction, in the second case a new visualization data set can be calculated after the reconstruction on the basis of the reconstructed images of the individual channels. A primitive method would be, for example, the arithmetic averaging of the gray values of the reconstructed image data from the individual channels, but any algorithms are conceivable as long as they each use the information of more than one single channel, in particular PCA, XOM, SOM. For the invention, it is irrelevant whether the image calculations in an image, console, or sub-console computer of the CT system or in any other computer, eg. As a PACS system, or a spzeiellen server done.
Als besonderes Ausführungsbeispiel ist jetzt folgendes Vorgehen zu erwähnen: Die pixelspezifischen Eigenschaften (Grauwerte, Farben, Luminanz, Transparenz) des einkanaligen Visualisierungsdatensatzes werden auf der Grundlage der Ausgabe des Identifikators verändert, wobei ein neuer Bilddatensatz entsteht, der graphisch ausgegeben, gespeichert oder transferiert wird. Alternativ kann der Visualisierungsdatensatz getrennt von der Ausgabe des Identifikators übermittelt oder gespeichert werden, wobei die Information beider Datensätze erst zu einem späteren Zeitpunkt oder an einem anderen Ort zum Zwecke der Visualisierung oder graphischen Ausgabe zusammengeführt, z. B. überlagert wird.As a particular embodiment, the following procedure should now be mentioned: The pixel-specific properties (gray values, colors, luminance, transparency) of the single-channel visualization data set are changed on the basis of the output of the identifier, resulting in a new image data set that is output, stored or transferred graphically. Alternatively, the visualization data set may be transmitted or stored separately from the output of the identifier, the information of both data sets being merged at a later time or at a different location for purposes of visualization or graphical output, e.g. B. is superimposed.
Weiterhin sind besondere Ausführungsbeispiele Verfahren und Vorrichtungen, bei denen die Ausgabedaten des Identifikators in Kombination mit dem Visualisierungsdatensatz oder die Ausgabedaten des Identifikators in Kombination mit den Einzelkanaldaten oder die Ausgabedaten des Identifikators in Kombination mit dem Visualisierungsdatensatz und den Einzelkanaldaten (insbesondere im DICOM-Format), gespeichert, an ein Computemetzwerk, insbesondere an ein PACS-System transferiert, oder, insbesondere wechselseitig überlagert, visualisiert werden.Further, particular embodiments are methods and apparatuses in which the output data of the identifier in combination with the visualization data set or the output data of the identifier in combination with the single channel data or the output data of the identifier in combination with the visualization data set and the Single channel data (in particular in DICOM format), stored, transferred to a computer network, in particular to a PACS system, or, in particular mutually superimposed, visualized.
Eine typische Situation wäre folgende: Die Bilddatenakquisition erfolgt z. B. nach Gabe einer im Vergleich zum herkömmlichen Vorgehen reduzierten Kontrastmitteldosis. Aus den mehrkanaligen Rohdaten oder mehrkanaligen rekonstruierten Bilddaten wird ein Visualisierungsdatensatz erzeugt. Weiterhin werden die einzelkanalspezifϊschen Roh- oder Bilddaten verwendet, um in einem Identifikator Schätzwerte für die Wahrscheinlichkeit des ortsspezifischen Vorhandenseins oder die ortsspezifische Konzentration von Kontrastmittel zu errechnen. Die Ausgabedaten des Identifikators werden, ebenso wie die Bilddaten, im DICOM-Format abgespeichert oder in ein PACS-System transferiert. Auf dem Konsolenrechner des Bildgebungsgerätes oder den Viewing-Stationen des PACS-Systems erfolgt dann die graphische Ausgabe, wobei gleichzeitig der Visualisierungsdatensatz und die Ausgabedaten des Identifikators oder ein aus beiden Datensätzen synthetisierter Bilddatensatz ausgegeben werden. Hierbei werden beispielsweise diejenigen Bildpunkte, an denen durch den Identifikator eine hohe Kontrastmittelkonzentration erkannt wurde, im Vergleich zum Visualisierungsdatensatz bezüglich ihrer Grauwerte hochskaliert, so daß der Bildeindruck einer Untersuchung mit höherer Kontrastmitteldosis entsteht.A typical situation would be the following: The image data acquisition takes place z. B. after administration of a reduced compared to the conventional procedure contrast agent dose. From the multi-channel raw data or multi-channel reconstructed image data, a visualization data set is generated. Furthermore, the single channel specific raw or image data is used to calculate in an identifier estimates of the probability of site-specific presence or the site-specific concentration of contrast agent. The output data of the identifier, as well as the image data, are stored in DICOM format or transferred to a PACS system. On the console computer of the imaging device or the viewing stations of the PACS system is then the graphical output, at the same time the visualization data set and the output data of the identifier or a synthesized from both data sets image data set are output. In this case, for example, those pixels on which a high contrast agent concentration was detected by the identifier are upscaled in comparison to the visualization data set with regard to their gray values, so that the image impression of an examination with a higher contrast agent dose is produced.
Die im vorstehenden dargestellte Beschreibung für die energieaufgelöste CT trifft auf jede andere Mehrkanal-Bildgebungsmodalität zu, in der Beschreibung sind sinngemäß alle CT- spezifischen Begriffe zu ersetzen. Insbesondere ist die Beschreibung sinngemäß übertragbar auf MRT bei Verwendung unterschiedlicher Aufnahmesequenzen oder Bildkontraste.The above described description for the energy resolved CT applies to any other multichannel imaging modality, in the description analogously all CT specific terms have to be replaced. In particular, the description is mutatis mutandis transferable to MRI using different acquisition sequences or image contrast.
Nach erfolgter Bildsynthese werden die Ausgabedaten (diese bestehen aus der Ausgabe des Identifikators oder aus einem synthetisierten Bilddatensatz, welcher auf der Grundlage der Ausgabe des Identifikators, eines einkanaligen Visualisierungsdatensatzes und/oder den mehrkanaligen Roh- oder rekonstruierten Bilddatensätzen oder beliebiger Kombinationen aus den genannten Datensätzen errechnet worden ist) optisch ausgegeben (z. B. auf dem Monitor einer Bedien- oder Nachverarbeitungskonsole eines Bildakquisitionsgerätes, auf dem Monitor der Viewing-Station eines PACS-Systems, auf dem Monitor eines beliebigen Rechners, auf dem ein biomedizinischer Bilddaten- Viewer installiert ist, z. B. ein DICOM- Viewer, auf einem Projektor oder einem Drucker). Bei synthetisierten Bilddatensätzen spielt es keine Rolle, in welchen Teilen eines Computers diese errechnet werden, insbesondere nicht, ob diese bereits in der CPU oder erst in einem Grafikchip unmittelbar vor der Ausgabe errechnet werden. Es ist auch wesentlich zu erwähnen, daß für die Bildsynthese das Vorhandensein bzw. die Verwendung eines Identifikators nicht unbedingt erforderlich ist.After image synthesis, the output data (these consist of the output of the identifier or a synthesized image data set, which is calculated based on the output of the identifier, a single-channel visualization data set and / or the multi-channel raw or reconstructed image data sets or any combination of said data sets has been optically output (eg on the monitor of an operating or post-processing console of an image acquisition device, on the monitor of the viewing station of a PACS system, on the monitor of any computer on which a biomedical image data viewer is installed, eg a DICOM viewer, on a projector or a printer). In synthesized image data sets, it does not matter in which parts of a computer they are calculated, in particular not whether they are already calculated in the CPU or only in a graphics chip immediately before the output. It is also important to mention that the presence or the use of an identifier is not absolutely necessary for the image synthesis.
Ein besonderes Ausführungsbeispiel ist eine Situation, bei der während der Ausgabe (oder auf einem Ausdruck) angezeigt wird, daß es sich um einen synthetisierten Bilddatensatz handelt, oder Parameter der Bildsynthese oder zur Bildsynthese verwendete Eingabedaten oder deren Art oder Eigenschaften angezeigt werden. Derartige Anzeigen können beispielsweise durch den Bildern überlagerte Textannotationen, Farbmarkierungen oder graphische Symbole erfolgen. Weiterhin sind als besondere Ausführungsbeispiele Verfahren und Vorrichtungen zu erwähnen, bei denen die ausgegebenen Bilder manipuliert werden können, insbesondere durch Benutzersteuerung, insbesondere durch Fensterung, Veränderung von Kontrast oder Bildhelligkeit, Farbe, Luminanz, Transparenz etc. Weiterhin sind als besondere Ausführungsbeispiele Verfahren und Vorrichtungen zu erwähnen, bei denen die Parameter oder Eingabedaten der Bildsynthese zeitlich veränderlich sind oder durch Benutzereinwirkung beeinflußt oder gesteuert werden können, z. B. die Gewichtung von Eingabedatenkanälen, z. B. interaktives oder zeitlich veränderliches, z. B. oszillierendes, Alpha-Blending. Bei Möglichkeiten zur benutzergesteuerten Beeinflussung sind insbesondere (ggf. auch speziell für diesen Zweck entwickelte) Computermäuse, Joysticks, Tochscreens und Tastaturen zu nennen.A particular embodiment is a situation where it is indicated during output (or printout) that it is a synthesized image data set, or display image synthesis parameters or input data used for image synthesis, or their type or properties. Such displays can be done, for example, by text superimposed text annotations, color markers or graphic symbols. Furthermore, as particular embodiments, methods and devices are to be mentioned in which the output images can be manipulated, in particular by user control, in particular by windowing, alteration of contrast or image brightness, color, luminance, transparency etc. Furthermore, as particular embodiments methods and devices are to mention, in which the parameters or input data of the image synthesis are temporally variable or can be influenced or controlled by user action, for. For example, the weighting of input data channels, e.g. B. interactive or time-varying, z. B. oscillating, alpha-blending. In the case of possibilities for user-controlled influencing, computer mice, joysticks, touchscreens and keyboards are to be mentioned in particular (possibly also developed especially for this purpose).
Eine besondere Situation umfaßt Verfahren und Vorrichtungen, bei denen Bilddaten auch ohne Verwendung eines Identifikators aus mehrkanaligen Bilddatenakquisitionen gleichzeitig, z. B. überlagert, auf einem Ausgabemittel ausgegeben werden, dadurch gekennzeichnet, daß die Darstellung auf dem Ausgabemittel durch den Benutzer beeinflußt oder gesteuert werden kann oder zeitlich veränderlich ist.A particular situation involves methods and apparatuses in which image data can be accessed simultaneously without using an identifier from multi-channel image data acquisitions, e.g. B. superimposed on a dispensing means, characterized in that the representation on the output means can be influenced or controlled by the user or is temporally variable.
Hier kann eine Bildsynthese erfolgen: aus den mehrkanaligen Rohdaten, den mehrkanaligen rekonstruierten Bilddaten, aus einem einkanaligen Visualisierungsdatensatz und/oder der Ausgabe eines Identifikators in oben dargestelltem Sinne. Die Beteiligung eines derartigen Identifikators ist jedoch auch hier optional.Image synthesis can take place here: from the multichannel raw data, the multi-channel reconstructed image data, from a single-channel visualization data record and / or the output of an identifier in the sense presented above. However, the involvement of such an identifier is also optional here.
Auch hier sind besonders Ausführungsbeispiele zu erwähnen, bei der während der Ausgabe (oder auf einem Ausdruck) angezeigt wird, daß es sich um einen synthetisierten Bilddatensatz handelt, oder Parameter der Bildsynthese oder zur Bildsynthese verwendete Eingabedaten oder deren Art oder Eigenschaften angezeigt werden. Derartige Anzeigen können beispielsweise durch den Bildern überlagerte Textannotationen, Farbmarkierungen oder graphische Symbole erfolgen. Weiterhin sind als besondere Ausführungsbeispiele Verfahren und Vorrichtungen zu erwähnen, bei denen die ausgegebenen Bilder manipuliert werden können, insbesondere durch Steuerung durch Benutzer, insbesondere durch Fensterung, Veränderung von Kontrast oder Bildhelligkeit, Farbe, Luminanz, Transparenz etc. Weiterhin sind als besondere Ausführungsbeispiele Verfahren und Vorrichtungen zu erwähnen, bei denen die Parameter oder Eingabedaten der Bildsynthese zeitlich veränderlich sind oder durch Steuerung durch Benutzer beeinflußt werden können, z. B. die Gewichtung von Eingabedatenkanälen, z. B. benutzergesteuertes oder zeitlich veränderliches, z. B. oszillierendes, Alpha-Blending. Bei Möglichkeiten zur benutzergesteuerten Beeinflussung sind insbesondere (ggf. auch speziell für diesen Zweck entwickelte) Computermäuse, Joysticks, Tochscreens und Tastaturen zu nennen.Again, particular embodiments are to be mentioned in which during output (or on a printout) it is indicated that it is a synthesized image data set or parameters of the image synthesis or input data used for image synthesis or their type or properties are displayed. Such displays can be done, for example, by text superimposed text annotations, color markers or graphic symbols. Furthermore, as particular embodiments, methods and devices should be mentioned in which the output images can be manipulated, in particular by control by users, in particular by fenestration, change of contrast or image brightness, color, luminance, transparency, etc. Furthermore, as particular embodiments, methods and Mention devices in which the parameters or input data of the image synthesis are temporally variable or can be influenced by control by users, for. For example, the weighting of input data channels, e.g. B. user-controlled or time-varying, z. B. oscillating, alpha-blending. In the case of possibilities for user-controlled influencing, computer mice, joysticks, touchscreens and keyboards are to be mentioned in particular (possibly also developed especially for this purpose).
Bei zeitlich veränderlicher Bildsynthese oder Ausgabe ist zum Beispiel ein zeitlich oszillierendes Alpha-Blending zu nennen, insbesondere auch dann, wenn dessen Parameter, insbesondere die Oszillationszfrequenz, durch den Benutzer steuerbar sind. Werde beispielsweise ein multidimensionaler BilddatensatzFor temporally variable image synthesis or output, for example, a chronologically oscillating alpha blending should be mentioned, in particular even if its parameters, in particular the oscillation frequency, can be controlled by the user. For example, become a multidimensional image data set
als Eingabe der Bildsynthese verwendet, wobei n die Anzahl der Einzelkanäle repräsentieren soll, (N: Menge der natürlichen Zahlen) und x, y, z die Ortskoordinaten des jeweiligen Bildpunktes, so könnte beispielsweise die Ausgabe s(x,y,z) am Bildpunkt (x, y, z) zum Zeitpunkt t errechnet werden durch: used as an input of the image synthesis, where n is to represent the number of individual channels, (N: quantity of natural numbers) and x, y, z the location coordinates of the respective pixel, for example, the output s (x, y, z) at the pixel (x, y, z) are calculated at time t by:
s{x,y,z) = Y w, {f)aXx,ytz) mit W1 (O = P1 sin(ö>,0, wobei p. , ύ}( e iR auch pixelspezifisch und/oder zeitlich, insbesondere auch durchs {x, y, z) = Y w, {f) aXx, y t z) with W 1 (O = P 1 sin (δ>, 0, where p. , ύ} ( e iR also pixel-specific and / or temporal, in particular also by
Benutzersteuerung beeinflußbar, veränderlich gewählt werden können. Es sei zu betonen, daß beliebige Muster zeitlicher Veränderbarkeit, d. h. beliebige zeitlich veränderliche Funktionen für die Bildsynthese gewählt werden können, insbesondere auch nichtperiodische, nicht stetige, nicht differenzierbare. Auch Abbildungsvorschriften, die auf der Grundlage von Zufallszahlen zeitlich variiert werden, sind zulässig, und sollen hier als Muster zeitlicher Veränderbarkeit einbezogen werden. Seien bt die Kanäle der Eingabedaten der BildsyntheseUser control influenced, can be selected variably. It should be emphasized that arbitrary patterns of temporal variability, ie, any temporally variable functions for the image synthesis can be selected, in particular also non-periodic, non-continuous, non-differentiable. Also, mapping rules that are temporally varied based on random numbers are permissible and should be included here as patterns of temporal variability. Let b t be the channels of the input data of the image synthesis
(Bilder oder Rohdaten), so sind also sämtliche Abbildungsvorschriften f(bt,t) erfaßt, wobei / eine beliebige, u. a. von der Zeit t abhängige Funktion in mathematischem Sinne ist.(Images or raw data), so all mapping rules f (b t , t) are detected, / is any, inter alia, of the time t dependent function in the mathematical sense.
4. Formale Beschreibung4. Formal description
Abschließend sei als Ergänzung zur Beschreibung noch ein Glossar formuliert, welches die Komponenten der Erfindung in Anlehnung an Abb. 1 charakterisiert:Finally, as a supplement to the description, a glossary is formulated which characterizes the components of the invention on the basis of FIG. 1:
Mehrkanalige Bilddatenakquisition: Denkbare Alternativen zur Akquisition von mehrkanaligen Bilddaten wurden bereits oben skizziert. Eine besondere Variante besteht darin, daß Mehrkanaldaten dadurch entstehen, daß auf Einkanaldaten beliebige Bildverarbeitungsoperationen (z. B. beliebige Filterung, z. B. Kantenverstärkung) durchgeführt werden, wobei das Ergebnis wieder als Bilddatensatz interpretiert werden kann. Die Kombination aus den ursprünglichen Einkanaldaten zusammen mit dem Ergebnis der Bildverarbeitungsoperation kann dann als Mehrkanal-Datensatz interpretiert werden.Multichannel Image Data Acquisition: Conceivable alternatives to the acquisition of multi-channel image data have already been outlined above. A particular variant consists in the fact that multichannel data are produced by carrying out any image processing operations (for example arbitrary filtering, for example edge enhancement) on single-channel data, the result again being able to be interpreted as an image data record. The combination of the original single channel data together with the result of the image processing operation can then be interpreted as a multi-channel data set.
Mehrkanalige Rohdaten: Diese bestehen in bevorzugten Ausfuhrungsbeispielen aus von CT-Detektoren gemessenen winkelabhängigen Strahlungsintensitätswerten, die als sog. „Sinugramme" dargestellt werden können oder den von RF-Empfängern in MRT-Geräten detektierten Signalintensitätswerten. Es handelt sich also um beliebige Daten, aus denen Bilddatensätze rekonstruiert werden können.Multichannel raw data: In preferred exemplary embodiments, these consist of angle-dependent radiation intensity values measured by CT detectors, which can be represented as so-called "sinograms" or the signal intensity values detected by RF receivers in MRT apparatuses Image data records can be reconstructed.
Mehrkanalige rekonstruierte Bilddaten: Es handelt sich um Bilddaten, die auf der Grundlage der Rohdaten gewonnen werden. Bei mehrkanaligen Rohdaten ist es nicht erforderlich, daß die Information genau eines Rohdatenkanals für die Rekonstruktion eines Bilddatenkanals verwendet wird. Ein Bilddatenkanal kann auch auf der Grundlage der Information mehrerer Rohdatenkanäle erfolgen. Für die weiteren Schritte ist es auch nicht unbedingt erforderlich, daß Bilddaten explizit rekonstruiert werden. Die nachfolgende Identifikation und/oder Bildsynthese kann auch direkt auf der Grundlage der Rohdaten erfolgen.Multichannel reconstructed image data: It is image data obtained on the basis of the raw data. With multi-channel raw data, it is not necessary to use the information of exactly one raw data channel for the reconstruction of an image data channel. An image data channel may also be based on the information of multiple raw data channels. For the further steps, it is also not absolutely necessary that image data be explicitly reconstructed. The subsequent identification and / or image synthesis can also take place directly on the basis of the raw data.
Einkanaliger Visualisierungsdatensatz: Ein solcher einkanaliger Bilddatensatz zum Zwecke der Visualisierung ist dadurch gekennzeichnet, daß er auf der Grundlage der Information von mehr als einem Roh- oder Bilddatenkanal errechnet wird.Single Channel Visualization Data Set: Such a single channel image data set for purposes of visualization is characterized by being calculated based on information from more than one raw or image data channel.
Identifikator: Der Identifikator erhält als Eingabe die Information von mehr als einem Rohoder Bilddatenkanal. Er errechnet hieraus ortsspezifische Eigenschaften des untersuchten Objektes, beispielsweise Schätzwerte für die Wahrscheinlichkeit und/oder ortsabhängige Konzentration bestimmter Substanzen oder das ortsabhängige Vorliegen bzw. die Stärke physikalischer, chemischer oder biologischer Eigenschaften. Die Ausgabe des Identifikators kann als Eingabe für die Synthese eines neuen Bilddatensatzes dienen oder kann für sich als Ausgabe des Systems betrachtet werden, die gespeichert, transmittiert oder über ein geeignetes Ausgabemittel z. B. graphisch ausgegeben werden kann. Bildsynthese: Für eine erste Alternative erfolgt diese auf der Grundlage der Ausgabe des Identifikators, wobei ein neuer Bilddatensatz erzeugt wird auf der Grundlage von:Identifier: The identifier receives as input the information of more than one raw or image data channel. From this, it calculates site-specific properties of the examined object, for example estimated values for the probability and / or location-dependent concentration of specific substances or the location-dependent presence or strength of physical, chemical or biological properties. The output of the identifier may serve as input to the synthesis of a new image data set or may be considered by itself as an output of the system which may be stored, transmitted or transmitted via a suitable output means e.g. B. can be output graphically. Image synthesis: For a first alternative, this is done based on the output of the identifier, where a new image data set is generated based on:
• Ausgabe des Identifikators,• output of the identifier,
• Ausgabe des Identifikators und einkanaliger Visualisierungsdatensatz,• output of the identifier and single-channel visualization data set,
• Ausgabe des Identifikators und mehrkanalige Rohdaten, oder• Output of the identifier and multi-channel raw data, or
• Ausgabe des Identifikators und mehrkanalige rekonstruierte Bilddaten,• output of the identifier and multi-channel reconstructed image data,
Für eine zweite Alternative ist ein Identifikator nicht unbedingt erforderlich, d. h. die Bildsynthese kann auch nur auf der Grundlage von mehrkanaligen Rohdaten, von mehrkanaligen rekonstruierten Bilddaten, eines einkanaligen Visualisierungsdatensatzes oder beliebiger Kombinationen hiervon erfolgen.For a second alternative, an identifier is not essential, i. H. Image synthesis may also be based only on multichannel raw data, multichannel reconstructed image data, a single channel visualization data set, or any combinations thereof.
Ausgabedaten: Diese sind das Ergebnis der Bildsynthese oder optional - als besondere Alternative - die Ausgabe des Identifikators ohne nachfolgende Bildsynthese. Die Ausgabedaten können gespeichert (z. B. in dem in der medizinischen Bildgebung üblichen DICOM-Format), in ein Computernetzwerk transferiert (z. B. im Sinne eines PACS-Systems) oder ausgegeben werden, z. B. auf dem Monitor eines beliebigen Rechners, insbesondere eines Haupt- oder Nebenkonsolenrechners eines Bildgebungsgerätes, auf dem Monitor einer Viewing-Station eines PACS-Systems oder eines mit einem PACS-System verbundenen Rechners. Eine Ausgabe kann auch als Ausdruck erfolgen (z. B. auf Film- oder Papierdruckern) oder es kann eine Darstellung mit unterschiedlichsten Projektionsgeräten erfolgen.Output data: These are the result of the image synthesis or optionally - as a special alternative - the output of the identifier without subsequent image synthesis. The output data may be stored (eg in the DICOM format customary in medical imaging), transferred to a computer network (eg in the sense of a PACS system) or output, e.g. B. on the monitor of any computer, in particular a main or auxiliary console computer of an imaging device, on the monitor of a viewing station of a PACS system or connected to a PACS system computer. An output can also be printed out (eg on film or paper printers) or it can be displayed with a wide variety of projection devices.
Steuerbarkeit oder zeitliche Variabilität: Dieser Aspekt repräsentiert eine besonders wichtige Klasse von bevorzugten Ausführungsbeispielen, ist jedoch nicht obligat.Controllability or Temporal Variability: This aspect represents a particularly important class of preferred embodiments, but is not mandatory.
Literaturliterature
[1] R.O. Duda and P.E. Hart. Pattern Classification and Scene Analysis. Wiley, New York, 1973[1] R.O. Duda and P.E. Hard. Pattern Classification and Scene Analysis. Wiley, New York, 1973
[2] S. Haykin. Neural Networks. Prentice Hall Inc., Upper Saddle River, New Jersey, 1999.[2] S. Haykin. Neural Networks. Prentice Hall Inc., Upper Saddle River, New Jersey, 1999.
[3] J. Hertz, A. Krogh, R.G. Palmer. Introduction to the theory of neural computation. Addison Wesley, Redwood City, CA, 1991.[3] J. Hertz, A. Krogh, R.G. Palmer. Introduction to the theory of neural computation. Addison Wesley, Redwood City, CA, 1991.
[4] E. Kraft, P. Fischer, M. Karagounis, M. Koch, H. Krüger, I. Peric, N. Wermes, C. Herrmann, A. Nascetti, M. Overdick, W. Rütten: Counting and Integrating Readout for Dirct Conversion X-ray Imaging. Concept, Realization and First Prototype Measurements. IEEE 2005 Nuclear Science Symosium Conference Record, pp 2761-2765, 0-7803-9221- 3/05 (2005)[4] E. Kraft, P. Fischer, M. Karagounis, M. Koch, H. Kruger, I. Peric, N. Wermes, C. Herrmann, A. Nascetti, M. Overdick, W. Ruetten: Counting and Integrating Readout for Dirct Conversion X-ray Imaging. Concept, Realization and First Prototype Measurements. IEEE 2005 Nuclear Science Symosium Conference Record, pp 2761-2765, 0-7803-9221- 3/05 (2005)
[5] Michael Athanassios Karagounis: Entwicklung analoger integrierter Schaltungen für Pixeldetektoren. Diplomarbeit. Fernuniversität Hagen, Fachbereich Elektrotechnik und Informationstechnik.[5] Michael Athanassios Karagounis: Development of analog integrated circuits for pixel detectors. Thesis. Fernuniversität Hagen, Department of Electrical Engineering and Information Technology.
[6] Y. Cheng, J. Zhang, Y. Z. Lee, B. Gao, S. Dike, W. Lin, J. P. Lu, O. Zhou: Dynamic radiography using a carbon-nanotube-based field-emission x-ray source. Review of Scientific Instruments (American Institute of Physics), Vol. 75, No. 10, pp. 3264-3267, October 2004, DOI: 10.1063/1.1791313 [6] Y. Cheng, J. Zhang, Y. Z. Lee, B. Gao, S. Dike, W. Lin, J. P. Lu, O. Zhou: Dynamic radiography using a carbon-nanotube-based x-ray source emission. Review of Scientific Instruments (American Institute of Physics), Vol. 10, pp. 3264-3267, October 2004, DOI: 10.1063 / 1.1791313
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102006001681A DE102006001681B4 (en) | 2006-01-12 | 2006-01-12 | Method and device for displaying multi-channel image data |
| PCT/EP2007/000099 WO2007082650A2 (en) | 2006-01-12 | 2007-01-08 | Method and device for representing multichannel image data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP1977392A2 true EP1977392A2 (en) | 2008-10-08 |
Family
ID=38189957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP07700200A Ceased EP1977392A2 (en) | 2006-01-12 | 2007-01-08 | Method and device for representing multichannel image data |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9189846B2 (en) |
| EP (1) | EP1977392A2 (en) |
| DE (1) | DE102006001681B4 (en) |
| WO (1) | WO2007082650A2 (en) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8705822B2 (en) * | 2008-09-03 | 2014-04-22 | Mayo Foundation For Medical Education And Research | Method for creating images indicating material decomposition in dual energy, dual source helical computed tomography |
| US20110249742A1 (en) * | 2010-04-07 | 2011-10-13 | Apple Inc. | Coupled video pre-processor and codec including reference picture filter that minimizes coding expense during pre-processing mode transitions |
| DE102012215515A1 (en) * | 2012-08-31 | 2014-03-06 | Klinikum Der Universität München | Method for detecting damage to silicone implants and computed tomography device |
| US9456764B2 (en) * | 2013-09-19 | 2016-10-04 | Alberta Health Services | Reducing artefacts in MRI k-space data with simultaneous radiation beam incident on MRI collector coils |
| CN106659456B (en) * | 2014-06-12 | 2021-03-12 | 皇家飞利浦有限公司 | Contrast Dose Simulation |
| JP6738320B2 (en) | 2014-09-05 | 2020-08-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Visualization of spectral image data |
| WO2016071374A1 (en) * | 2014-11-06 | 2016-05-12 | Koninklijke Philips N.V. | Computed tomography system |
| DE102015201057A1 (en) | 2015-01-22 | 2016-07-28 | Siemens Healthcare Gmbh | Method for improving the image quality of a magnetic resonance image dataset, computing device and computer program |
| US10003754B2 (en) * | 2015-06-18 | 2018-06-19 | Agilent Technologies, Inc. | Full field visual-mid-infrared imaging system |
| EP3336571A1 (en) * | 2017-04-05 | 2018-06-20 | Siemens Healthcare GmbH | Assignment of mr fingerprints on the basis of neural networks |
| EP3404919A1 (en) * | 2017-05-17 | 2018-11-21 | Koninklijke Philips N.V. | Vector-valued diagnostic image encoding |
| KR102601604B1 (en) * | 2017-08-04 | 2023-11-13 | 삼성전자주식회사 | Method and apparatus for quantizing parameter of neural network |
| EP3694413B1 (en) * | 2017-10-09 | 2025-06-11 | The Board of Trustees of the Leland Stanford Junior University | Contrast dose reduction for medical imaging using deep learning |
| EP3543911A1 (en) * | 2018-03-22 | 2019-09-25 | Koninklijke Philips N.V. | Anomaly detection using magnetic resonance fingerprinting |
| WO2020082171A1 (en) | 2018-10-22 | 2020-04-30 | Voti Inc. | Tray insert for screening tray |
| DE102019111567A1 (en) | 2019-05-03 | 2020-11-05 | Wipotec Gmbh | Method and device for X-ray inspection of products, in particular food |
| WO2021051191A1 (en) * | 2019-09-16 | 2021-03-25 | Voti Inc. | Probabilistic image analysis |
| BR112022005559A2 (en) * | 2019-09-25 | 2022-06-21 | Subtle Medical Inc | Systems and methods to improve low-dose MRI with enhanced volumetric contrast |
| US12198809B2 (en) * | 2020-06-19 | 2025-01-14 | Neil Reza Shadbeh Evans | Machine learning algorithms for detecting medical conditions, related systems, and related methods |
| DE102020216306A1 (en) * | 2020-12-18 | 2022-06-23 | Siemens Healthcare Gmbh | Computer-implemented method for operating a medical imaging device, imaging device, computer program and electronically readable data carrier |
| US11727087B2 (en) * | 2021-04-05 | 2023-08-15 | Nano-X Ai Ltd. | Identification of a contrast phase depicted in a medical image |
| US11885752B2 (en) | 2021-06-30 | 2024-01-30 | Rapiscan Holdings, Inc. | Calibration method and device therefor |
| US12019035B2 (en) | 2021-07-16 | 2024-06-25 | Rapiscan Holdings, Inc. | Material detection in x-ray security screening |
| US11765320B2 (en) * | 2021-08-11 | 2023-09-19 | Google Llc | Avatar animation in virtual conferencing |
| EP4398803A4 (en) | 2021-09-07 | 2025-09-10 | Rapiscan Systems Inc | Methods and systems for accurate visual layer separation in the displays of scanning systems |
| CN114882379B (en) * | 2022-07-04 | 2022-09-13 | 北京数慧时空信息技术有限公司 | Accurate screening method for remote sensing image group |
| EP4562413A1 (en) | 2022-07-26 | 2025-06-04 | Rapiscan Holdings, Inc. | Methods and systems for performing on-the-fly automatic calibration adjustments of x-ray inspection systems |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6744472B1 (en) * | 1998-11-09 | 2004-06-01 | Broadcom Corporation | Graphics display system with video synchronization feature |
| US6540681B1 (en) * | 2000-11-24 | 2003-04-01 | U-Systems, Inc. | Extended view ultrasound imaging system |
| US6748044B2 (en) * | 2002-09-13 | 2004-06-08 | Ge Medical Systems Global Technology Company, Llc | Computer assisted analysis of tomographic mammography data |
| US7627160B2 (en) * | 2003-06-13 | 2009-12-01 | General Electric Company | Analysis of temporal change using dual or multi-energy decomposition images |
-
2006
- 2006-01-12 DE DE102006001681A patent/DE102006001681B4/en not_active Expired - Fee Related
-
2007
- 2007-01-08 WO PCT/EP2007/000099 patent/WO2007082650A2/en not_active Ceased
- 2007-01-08 EP EP07700200A patent/EP1977392A2/en not_active Ceased
- 2007-01-08 US US12/160,528 patent/US9189846B2/en active Active
Non-Patent Citations (5)
| Title |
|---|
| ANDREAS HERRMANN ET AL: "Oscillating Intensity Display of Soft Tissue Lesions in MRI", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 6, no. 4, 1 January 1987 (1987-01-01), pages 370 - 373, XP055007884, ISSN: 0278-0062, DOI: 10.1109/TMI.1987.4307856 * |
| PHOEBE G. SPETSIERIS: "Imaging Cerebral Functions", IEEE COMPUTER GRAPHICS AND APPLICATIONS, vol. 13, no. 1, 1 January 1993 (1993-01-01), pages 15 - 28, XP055017751, ISSN: 0272-1716, DOI: 10.1109/38.180113 * |
| See also references of WO2007082650A2 * |
| SEUNG-YONG LEE ET AL: "Image Morphing Using Deformation Techniques", THE JOURNAL OF VISUALIZATION AND COMPUTER ANIMATION, vol. 7, 1 January 1996 (1996-01-01), pages 3 - 23, XP055017752 * |
| SPETSIERIS P G ET AL: "Interactive visualization of coregistered tomographic images", BIOMEDICAL VISUALIZATION, 1995. PROCEEDINGS. ATLANTA, GA, USA 30 OCT.-3 NOV. 1995, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 30 October 1995 (1995-10-30), pages 58 - 63,86, XP010196693, ISBN: 978-0-8186-7198-2 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US9189846B2 (en) | 2015-11-17 |
| US20100166273A1 (en) | 2010-07-01 |
| WO2007082650A3 (en) | 2007-10-11 |
| DE102006001681A1 (en) | 2007-07-19 |
| DE102006001681B4 (en) | 2008-07-10 |
| WO2007082650A2 (en) | 2007-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102006001681B4 (en) | Method and device for displaying multi-channel image data | |
| Peng et al. | CBCT‐Based synthetic CT image generation using conditional denoising diffusion probabilistic model | |
| DE10311319B4 (en) | Method, system and computer product for planning a cardiac intervention procedure | |
| Poirot et al. | Physics-informed deep learning for dual-energy computed tomography image processing | |
| CN117813055A (en) | Multi-modality and multi-scale feature aggregation for synthesis of SPECT images from fast SPECT scans and CT images | |
| DE102005047420A1 (en) | Method and system for multi-energy tomosynthesis | |
| DE10333563A1 (en) | Temporal image comparison procedure | |
| DE102009044075A1 (en) | Assistance system based on active electronic health records using learning machines | |
| DE102006041309A1 (en) | System and method for 3D-CAD using projection images | |
| DE102013103832A1 (en) | Damping correction in positron emission tomography using magnetic resonance imaging | |
| DE102007025862A1 (en) | System and method for geometry-based registration | |
| DE102007046250A1 (en) | Characteristic assigning method for area of image, involves deriving probability model for geometrical structures, which have anatomic structure, and evaluating divisional answer at area in image | |
| DE112015002802B4 (en) | IMPROVED IMAGE RECONSTRUCTION FOR A VOLUME BASED ON PROJECTION DATASETS | |
| WO2020113148A1 (en) | Single or a few views computed tomography imaging with deep neural network | |
| EP3539475B1 (en) | Method of motion correction of spectral computed tomography data, and an energy-sensitive computer tomography unit | |
| EP3404436B1 (en) | Functional magnetic resonance imaging | |
| Alhatami et al. | Review and enhancement of discrete cosine transform (DCT) for medical image fusion | |
| Chen et al. | Robust restoration of low-dose cerebral perfusion CT images using NCS-Unet | |
| DE102013214023B4 (en) | A method for evaluating and comparing temporally successive combined medical imaging examinations and a medical imaging system designed to carry out the method according to the invention | |
| DE102013204994B4 (en) | Time-resolved phase-contrast MR imaging with velocity encoding | |
| DE112021005075T5 (en) | LEARNING DEVICE, METHOD AND PROGRAM, IMAGE GENERATING DEVICE, METHOD AND PROGRAM, TRAINED MODEL, VIRTUAL IMAGE AND RECORDING MEDIA | |
| DE102017208560A1 (en) | Functional magnetic resonance imaging | |
| US10062185B2 (en) | Method and apparatus for reducing variability of representations of regions of interest on reconstructions of medical imaging data | |
| DE102015200850B4 (en) | Method for evaluating medical image data | |
| EP1869620B1 (en) | Method for processing image and volume data based on statistical models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| 17P | Request for examination filed |
Effective date: 20080812 |
|
| AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT CH DE GB LI |
|
| DAX | Request for extension of the european patent (deleted) | ||
| RBV | Designated contracting states (corrected) |
Designated state(s): AT CH DE GB LI |
|
| 17Q | First examination report despatched |
Effective date: 20120203 |
|
| APBK | Appeal reference recorded |
Free format text: ORIGINAL CODE: EPIDOSNREFNE |
|
| APBN | Date of receipt of notice of appeal recorded |
Free format text: ORIGINAL CODE: EPIDOSNNOA2E |
|
| APBR | Date of receipt of statement of grounds of appeal recorded |
Free format text: ORIGINAL CODE: EPIDOSNNOA3E |
|
| APAF | Appeal reference modified |
Free format text: ORIGINAL CODE: EPIDOSCREFNE |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R003 |
|
| APBT | Appeal procedure closed |
Free format text: ORIGINAL CODE: EPIDOSNNOA9E |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED |
|
| 18R | Application refused |
Effective date: 20211118 |