DE102011089803A1 - System for monitoring examination space in clinical environment of e.g. C-arm X-ray diagnostic device, has depth cameras that are connected to image processing computer so as to generate three-dimensional data in accordance with object - Google Patents
System for monitoring examination space in clinical environment of e.g. C-arm X-ray diagnostic device, has depth cameras that are connected to image processing computer so as to generate three-dimensional data in accordance with object Download PDFInfo
- Publication number
- DE102011089803A1 DE102011089803A1 DE102011089803A DE102011089803A DE102011089803A1 DE 102011089803 A1 DE102011089803 A1 DE 102011089803A1 DE 102011089803 A DE102011089803 A DE 102011089803A DE 102011089803 A DE102011089803 A DE 102011089803A DE 102011089803 A1 DE102011089803 A1 DE 102011089803A1
- Authority
- DE
- Germany
- Prior art keywords
- monitoring
- examination room
- depth cameras
- examination
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 title claims description 12
- 230000005855 radiation Effects 0.000 claims abstract description 16
- 210000000746 body region Anatomy 0.000 claims abstract description 3
- 210000000056 organ Anatomy 0.000 claims abstract description 3
- 230000002792 vascular Effects 0.000 claims abstract description 3
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 238000002583 angiography Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 206010002091 Anaesthesia Diseases 0.000 description 2
- 229910021417 amorphous silicon Inorganic materials 0.000 description 2
- 230000037005 anaesthesia Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000001802 infusion Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/10—Safety means specially adapted therefor
- A61B6/102—Protection against mechanical damage, e.g. anti-collision devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4007—Arrangements for generating radiation specially adapted for radiation diagnosis characterised by using a plurality of source units
- A61B6/4014—Arrangements for generating radiation specially adapted for radiation diagnosis characterised by using a plurality of source units arranged in multiple source-detector units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
- A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
- A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
- A61B6/4458—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit or the detector unit being attached to robotic arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
- A61B6/4464—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit or the detector unit being mounted to ceiling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Die Erfindung betrifft ein System zur Überwachung eines Untersuchungsraums (13) im klinischen Umfeld einer Diagnostikeinrichtung (1 bis 4', 7 bis 12) während einer angiographischen Untersuchung oder Behandlung eines Organs, Gefäßsystems oder anderer Körperregionen als Untersuchungsobjekt eines Patienten mit einer Vorrichtung (14, 30) zum Erfassen der Position zumindest eines sich in dem Untersuchungsraum (13) befindenden Objektes (1 bis 4', 7 bis 12, 40), wobei die Vorrichtung (14, 30) einen Strahlensender (21 bis 23) zum Senden eines Strahlenbündels (34, 39) sowie eine Kamera (24 bis 27) zum Erfassen des zumindest einen Objektes (1 bis 4', 7 bis 12, 40) aufweist und wobei die Signale der Kamera (24 bis 27) einer Vorrichtung (27, 15) zugeführt werden, die aufgrund dieser Signale 3-D-Daten entsprechend des zumindest einen Objektes (1 bis 4', 7 bis 12, 40) erzeugt, die zur Vermeidung von Kollisionen des Objektes (1 bis 4', 7 bis 12, 40) herangezogen werden. Es sind wenigstens zwei Tiefenkameras (14, 30) zur Überwachung des Untersuchungsraums (13) vorgesehen, – die je eine monochromatische Strahlenquelle (21, 22) mit voneinander unterschiedlicher Wellenlänge, – einen Strahlformer (23) und – einen Detektor (24 bis 26) für diese monochromatische Strahlen aufweisen, wobei die Tiefenkameras (14, 30) mit der Vorrichtung (27, 15) zur Vermeidung von Kollisionen des Objektes (1 bis 4', 7 bis 12, 40) zur Erzeugung der 3-D-Daten verbunden sind.The invention relates to a system for monitoring an examination room (13) in the clinical environment of a diagnostic device (1 to 4 ', 7 to 12) during an angiographic examination or treatment of an organ, vascular system or other body regions as examination object of a patient with a device (14, FIG. 30) for detecting the position of at least one object (1 to 4 ', 7 to 12, 40) located in the examination room (13), the apparatus (14, 30) comprising a radiation transmitter (21 to 23) for transmitting a radiation beam ( 34, 39) and a camera (24 to 27) for detecting the at least one object (1 to 4 ', 7 to 12, 40) and wherein the signals of the camera (24 to 27) of a device (27, 15) supplied are generated due to these signals 3-D data corresponding to the at least one object (1 to 4 ', 7 to 12, 40) used to avoid collisions of the object (1 to 4', 7 to 12, 40) become. At least two depth cameras (14, 30) for monitoring the examination room (13) are provided, each having a monochromatic radiation source (21, 22) with mutually different wavelengths, - a beam shaper (23) and - a detector (24 to 26) for these monochromatic beams, wherein the depth cameras (14, 30) are connected to the device (27, 15) for avoiding collisions of the object (1 to 4 ', 7 to 12, 40) for generating the 3-D data ,
Description
Die Erfindung betrifft ein System zur Überwachung eines Untersuchungsraums im klinischen Umfeld einer Diagnostikeinrichtung während einer angiographischen Untersuchung oder Behandlung eines Organs, Gefäßsystems oder anderer Körperregionen als Untersuchungsobjekt eines Patienten mit einer Vorrichtung zum Erfassen der Position zumindest eines sich in dem Untersuchungsraum befindenden Objektes, wobei die Vorrichtung einen Strahlensender zum Senden eines Strahlenbündels sowie eine Kamera zum Erfassen des zumindest einen Objektes aufweist und wobei die Signale der Kamera einer Vorrichtung zugeführt werden, die aufgrund dieser Signale 3-D-Daten entsprechend des zumindest einen Objektes erzeugt, die zur Vermeidung von Kollisionen des Objektes herangezogen werden. The invention relates to a system for monitoring an examination room in the clinical environment of a diagnostic device during an angiographic examination or treatment of an organ, vascular system or other body regions as an examination subject of a patient with a device for detecting the position of at least one object located in the examination room, wherein the device a radiation transmitter for transmitting a beam and a camera for detecting the at least one object, and wherein the signals of the camera are fed to a device which, on the basis of these signals, generates 3-D data corresponding to the at least one object used to avoid collisions of the object be used.
Medizinische Diagnose- und Interventionssysteme in der Angiographie, Kardiologie und Neurologie nutzen heute meist einen sogenannten C-Bogen als Basis für die bildgebenden Komponenten, die Röntgenröhre und den Röntgendetektor. Dieser kann für die 2-D- als auch für 3-D-Bildgebung – motorisch angetrieben – sehr flexibel um den Patienten positioniert werden. So werden beispielsweise im Rahmen vorprogrammierter Rotationsangiographien, d. h. während einer kreisbogenförmigen Fahrt des C-Bogens um einen Patienten, bis zu einige hundert Bilder aufgenommen, die anschließend mittels Algorithmen in ein 3-D-Volumen rekonstruiert werden können. Dafür werden üblicherweise Rotationsgeschwindigkeiten von 60°/s genutzt. Für zukünftige Anwendungen und um weitere Dosiseinsparungen realisieren zu können, werden noch höhere Geschwindigkeiten für die Rotation benötigt. Auch manuelle Fahrten, die dem Bediener beliebige Fahrten über alle Freiheitsgrade mit den Systemen ermöglichen, werden für die Optimierung des klinischen Workflows schneller. Mit schnelleren und flexibleren Systemen steigt das Risiko von Kollisionen mit Patienten, Personal und Equipment stark an. Medical diagnosis and intervention systems in angiography, cardiology and neurology today mostly use a so-called C-arm as the basis for the imaging components, the X-ray tube and the X-ray detector. This can be positioned very flexibly around the patient for 2-D as well as 3-D imaging - powered by a motor. For example, in the context of preprogrammed rotation angiographies, i. H. during a circular movement of the C-arm around a patient, up to a few hundred images taken, which can then be reconstructed using algorithms in a 3-D volume. For rotation speeds of 60 ° / s are usually used. For future applications and to realize further dose savings, even higher rotational speeds are needed. Even manual rides that allow the operator to drive freely across all degrees of freedom with the systems become faster to optimize the clinical workflow. With faster and more flexible systems, the risk of collisions with patients, personnel, and equipment increases dramatically.
In dem Umfeld der Angiographiegeräte befinden sich zunehmend vermehrt dem System für die Pfadplanung unbekannte Geräte, wie zum Beispiel Anästhesiegeräte, Arm- oder Kopfhalterungen, Infusionsständer usw. Durch die Flexibilisierung der Systeme werden immer mehr C-Bogen-Angiographiegeräte im OP-Bereich eingesetzt, in dem sich aus medizinischen Gründen deutlich mehr Personen aufhalten, die somit ebenso einer erhöhten Gefährdung einer Kollision ausgesetzt werden. In the field of angiography devices, the path planning system is increasingly gaining access to unknown devices, such as anesthesia devices, arm or head mounts, infusion stands, etc. Due to the flexibility of the systems, more and more C-arm angiography devices are being used in the operating theater For medical reasons, there are significantly more people who are therefore also exposed to an increased risk of collision.
Ein derartiges Angiographiesystem ist beispielsweise aus der
Die
Mittels des beispielsweise aus der
Der bekannte Knickarmroboter weist ein Grundgestell auf, welches beispielsweise auf dem Boden
Die Realisierung der Röntgendiagnostikeinrichtung ist nicht auf den Industrieroboter angewiesen. Es können auch übliche C-Bogen-Geräte Verwendung finden. The realization of the X-ray diagnostic device is not dependent on the industrial robot. It can also find common C-arm devices use.
Die Röntgenbilddetektoren
Im Strahlengang der Röntgenstrahler
Anstelle des in
Anstelle der beispielsweise dargestellten C-Bogen
Um das Risiko von Kollisionen mit Patienten, Personal und Equipment zu minimieren, werden vor der Freigabe einer Untersuchung mit hohen Systemgeschwindigkeiten Testfahrten mit reduzierter Fahrgeschwindigkeit durchgeführt, in denen die Kollisionsfreiheit geprüft wird. To minimize the risk of collisions with patients, personnel, and equipment, reduced speed vehicle test runs are performed prior to releasing a high-speed test to assess collision-free performance.
Außerdem wird bisher in bestimmten Bereichen die Geschwindigkeit durch ein vorprogrammiertes Kollisionsmodell reduziert und durch die Detektion von Auffahrten nach dem Ereignis das System gestoppt. In addition, in certain areas, the speed is reduced by a pre-programmed collision model and stopped by the detection of driveways after the event, the system.
Aus der
Es wurde weiterhin versucht, eine derartige Raumüberwachung mit einer großen Anzahl von RGB-Kameras zu realisieren, um so ein umfassendes 3-D-Modell des Raumes zu erstellen. Bei reduziertem oder abgeschaltetem Licht in einem Operationsraum (OP) versagt das System mit den RGB-Kameras allerdings. Attempts have also been made to realize such a room surveillance with a large number of RGB cameras in order to create a comprehensive 3-D model of the room. However, with reduced or switched off light in an operating room (OP), the system fails with the RGB cameras.
Aus der älteren Patentanmeldung
Derartige ToF-Kameras können zwar optische Bandpassfilter aufweisen, die nur die Wellenlänge durchlassen, mit der auch die Beleuchtung arbeitet, so dass ein großer Teil der Störungen durch Hintergrundlicht eliminiert wird. Diese dienen jedoch lediglich dazu, zum Beispiel den störenden Infrarotanteil und den Teil des sichtbaren Lichts der Sonne zu minimieren, damit der Sensor, der für ein breites Spektrum an Wellenlängen empfindlich ist, nicht ständig in der Sättigung betrieben wird. Das ist auch der Grund, warum ToF-Kameras bei starker Sonneneinstrahlung und vor allem im Freien nicht eingesetzt werden können. Although such ToF cameras may have optical bandpass filters that only transmit the wavelength at which the illumination works, so much of the background light interference is eliminated. However, these merely serve to minimize, for example, the disturbing infrared component and the portion of the visible light of the sun, so that the sensor, which is sensitive to a broad spectrum of wavelengths, is not constantly operated in saturation. This is also the reason why ToF cameras can not be used in strong sunlight and especially outdoors.
Nachteilig erweist sich auch, dass die Beleuchtung extrem stark sein muss, da ToF-Kameras eine diffuse Beleuchtung benutzen und daher für eine gleichmäßige Ausleuchtung der Szene eine hohe optische Ausgangsleistung benötigen. Dies kann unter Anderem zu Problemen mit der Wärmeabfuhr aus dem System führen, obwohl zur diffusen Beleuchtung LEDs eingesetzt werden. Another disadvantage is that the illumination must be extremely strong, since ToF cameras use a diffuse illumination and therefore require a high optical output power for a uniform illumination of the scene. Among other things, this can lead to problems with heat removal from the system, although LEDs are used for diffuse illumination.
Auch industriell eingesetzte 3-D-Laserscanner arbeiten in gleichen Wellenlängenbereichen und mit breitbandiger Kombination aus Strahlenquelle und Sensor. Sie verhalten sich daher genau wie ToF-Systeme und beeinflussen sich bei gleichzeitigem Betrieb im selben Raum gegenseitig. Even industrially used 3-D laser scanners work in the same wavelength ranges and with a broadband combination of radiation source and sensor. They therefore behave exactly like ToF systems and interact with each other during simultaneous operation in the same room.
Eine andere Überlegung stellen Tiefenkameras auf Basis der aktiven Triangulation dar. Diese Kameras, ein Beispiel hierfür ist die aktuelle Microsoft Kinect, ermitteln mit Hilfe von "Structured Light" das Abstandsbild des Raums, wie dies beispielsweise bei "Structured-light 3D scanner" von Wikipedia, the free encyclopedia, vom 26 Juni 2011, beschrieben ist (
Die Erfindung geht von der Aufgabe aus, ein System zur Überwachung eines Untersuchungsraums im klinischen Umfeld einer Diagnostikeinrichtung der eingangs genannten Art derart auszubilden, dass eine Raumüberwachung mittels mehrerer simultan betriebener Tiefenkameras ermöglicht wird, so dass eine Raumüberwachung und damit Verfolgung von Objekten in Echtzeit erfolgen kann. The invention is based on the object, a system for monitoring an examination room in the clinical environment of a diagnostic device of the type mentioned in such a way that a room monitoring by means of several simultaneously operated depth cameras is made possible, so that a space monitoring and thus tracking of objects can be done in real time ,
Die Aufgabe wird erfindungsgemäß für ein System zur Überwachung eines Untersuchungsraums im klinischen Umfeld einer Diagnostikeinrichtung der eingangs genannten Art durch die im Patentanspruch 1 angegebenen Merkmale gelöst. Vorteilhafte Ausbildungen sind in den abhängigen Patentansprüchen angegeben. The object is achieved for a system for monitoring an examination room in the clinical environment of a diagnostic device of the type mentioned by the features specified in claim 1. Advantageous embodiments are specified in the dependent claims.
Die Aufgabe wird für ein System zur Raumüberwachung erfindungsgemäß dadurch gelöst, dass wenigstens zwei Tiefenkameras zur Überwachung des Untersuchungsraums vorgesehen sind,
- – die je eine monochromatische Strahlenquelle mit voneinander unterschiedlicher Wellenlänge,
- – einen Strahlformer und
- – einen Detektor für diese monochromatische Strahlen
- - each having a monochromatic radiation source with mutually different wavelengths,
- - A beam former and
- A detector for these monochromatic beams
Mit der erfindungsgemäßen Ausbildung des Systems zur Raumüberwachung im klinischen Umfeld eines Angiographiesystems während einer angiographischen Untersuchung eines Patienten mittels multipler, simultan messender Hochfrequenz-3-D-Kameras kann eine deutlich höhere Abtastrate realisiert werden, die wiederum eine Echtzeitüberwachung des Raums und somit zum Beispiel Ausweichstrategien in Echtzeit ermöglicht. Zusätzlich kann eine höhere Abdeckung des Raums und eine höhere Messgenauigkeit durch die multiple Nutzungsmöglichkeit erzielt werden. With the inventive design of the system for spatial surveillance in the clinical environment of an angiography system during angiographic examination of a patient by means of multiple, simultaneously measuring high-frequency 3-D cameras, a significantly higher sampling rate can be realized, in turn, a real-time monitoring of the room and thus, for example avoidance strategies in real time. In addition, a higher coverage of the room and a higher measurement accuracy can be achieved by the multiple use possibility.
Die Bildverarbeitung in der Vorrichtung zur Kollisionsvermeidung kann entlastet werden, wenn die Tiefenkameras je eine Auswerteelektronik aufweisen, die eine Vorverarbeitung bewirken kann. The image processing in the device for collision avoidance can be relieved, if the depth cameras each have an evaluation that can cause preprocessing.
Erfindungsgemäß kann die Diagnostikeinrichtung eine C-Bogen Röntgendiagnostikeinrichtung sein. According to the invention, the diagnostic device may be a C-arm X-ray diagnostic device.
In vorteilhafter Weise kann der Strahlformer ein strukturiertes Licht, beispielsweise ein Structured Light Grid, erzeugt. The beam former can advantageously produce a structured light, for example a structured light grid.
Alternativ kann der Strahlformer einen Beamsplitter aufweisen. Alternatively, the beamformer may comprise a beam splitter.
Es hat sich als vorteilhaft erwiesen, wenn der Detektor für die monochromatischen Strahlen ein Objektiv, ein schmalbandiges Filter und einen IR-Sensor aufweist. It has proved to be advantageous if the monochromatic beam detector has an objective, a narrow-band filter and an IR sensor.
Erfindungsgemäß kann die monochromatischen Strahlenquellen IR-Licht aussenden. According to the invention, the monochromatic radiation sources emit IR light.
In vorteilhafter Weise können die monochromatischen Strahlenquellen schmalbandige optische Filter und LEDs oder alternativ Laser als IR-Quellen aufweisen. Advantageously, the monochromatic radiation sources may comprise narrow band optical filters and LEDs or alternatively lasers as IR sources.
Eine Eliminierung von kontinuierlichen Störquellen in demselben schmalbandigen Frequenzbereich und eine positive Verminderung der optischen Gesamtausgangsleistung kann erreicht werden, wenn die monochromatischen Strahlensender ein pulsierendes NIR-Licht erzeugen, so das in zwei aufeinanderfolgenden Frames die Szene einmal mit aktiv eingebrachtem NIR-Licht und einmal ohne aufgenommen werden kann, dass beide Aufnahmen voneinander subtrahiert werden. Elimination of continuous noise sources in the same narrowband frequency range and a positive reduction in total optical output power can be achieved when the monochromatic beam transmitters generate a pulsating NIR light so that in two consecutive frames the scene is once with NIR light active and once recorded can be subtracted from each other.
Es hat sich als vorteilhaft erwiesen, wenn die Auswerteelektronik der Tiefenkameras eine Aufnahme ohne Structured Light und eine mit Structured Light subtrahiert. It has proven to be advantageous if the evaluation electronics of the depth cameras subtracts a recording without Structured Light and one with Structured Light.
Zusätzlich kann die Auswerteelektronik der Tiefenkameras erfindungsgemäß die X-, Y- und Z-Werte jedes Pixels in Koordinaten der Bildverarbeitung transformieren. In addition, according to the invention, the evaluation cameras of the depth cameras can transform the X, Y and Z values of each pixel into coordinates of the image processing.
Es hat sich als vorteilhaft erwiesen, wenn die Auswerteelektronik der Tiefenkameras die erkannten Objekte sowie statische und/oder dynamische Bereiche ermittelt. It has proved to be advantageous if the evaluation electronics of the depth cameras determines the detected objects as well as static and / or dynamic areas.
In vorteilhafter Weise kann in der Auswerteelektronik ein Kalibrierfile für die Tiefenkameras hinterlegt ist. In an advantageous manner, a calibration file for the depth cameras can be stored in the evaluation electronics.
Die Erfindung ist nachfolgend anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert. Es zeigen: The invention is explained in more detail with reference to embodiments shown in the drawing. Show it:
Den in
In der
In einem Kameragehäuse
In dem Kameragehäuse
Durch den Strahlformer
Der IR-Sensor
Die Ausgangssignale aus dem IR-Sensor
Die Auswerteelektronik
Üblicherweise wird in der Auswerteelektronik
Eine weitere Funktionalität, die von der Auswerteelektronik
Über die Intensitätswerte und eventuell kombiniert mit einen Next-Neighbor-Algorithmus, einem Vergleich des aktuellen Pixelwertes mit denen von (beispielsweise acht) unmittelbar angrenzenden benachbarten Pixeln kann eine Confidence Map erstellt werden, die angibt, wie sicher (z.B. Angabe in [%]) die erhaltenen Daten für jedes Pixel sind. Using the intensity values and possibly combined with a next-neighbor algorithm, a comparison of the current pixel value with that of (for example, eight) immediately adjacent neighboring pixels, a confidence map can be created which indicates how secure (eg specification in [%]) the obtained data for each pixel.
Des Weiteren ist eine Objekterkennung in der Auswerteelektronik
Mittels Interpolation über mehrere Messwerte in zeitlicher Abfolge ist eine Klassifizierung in statische und dynamische Bereich möglich. By means of interpolation over several measured values in chronological order, a classification into static and dynamic range is possible.
Zusammenfassend werden von der Auswerteelektronik
In der
Eine erste Tiefenkamera
Die
Ausgehend vom zweiten Strahlensender
Die bekannte Raumüberwachung mittels Tiefenkameras wird beibehalten, jedoch wird erfindungsgemäß für die beiden Varianten Time-of-flight oder "Structured Light"-Triangulation die simultane Nutzung mehrerer Kameras ermöglicht. Mit dem erfindungsgemäßen Gegenstand kann eine deutlich höhere Abtastrate realisiert werden, die wiederum eine Echtzeitüberwachung des Raums und somit zum Beispiel Ausweichstrategien in Echtzeit ermöglicht. Zusätzlich kann eine höhere Abdeckung des Raums und eine höhere Messgenauigkeit durch die multiple Nutzungsmöglichkeit erzielt werden. The known room monitoring by means of depth cameras is maintained, but according to the invention for the two variants time-of-flight or "structured light" triangulation, the simultaneous use of multiple cameras is possible. With the object according to the invention, a significantly higher sampling rate can be realized, which in turn enables real-time monitoring of the space and thus, for example, avoidance strategies in real time. In addition, a higher coverage of the room and a higher measurement accuracy can be achieved by the multiple use possibility.
Die technische Umsetzung solcher Tiefenkameras erfordert nur geringe Veränderungen mittels Standardkomponenten. The technical implementation of such depth cameras requires only minor changes using standard components.
Beispielsweise können die Tiefenkameras
Als Lichtquelle bzw. IR-Quelle
As a light source or
Durch das erfindungsgemäße Structured-Light-System müssen nur einzelne Punkte oder Linien in der Szene beleuchtet werden, so dass eine Verwendung von Lasern für die Beleuchtung zulässig ist. Dadurch kann die optische Ausgangsleistung, die auch pro Fläche angegeben wird, deutlich geringer gewählt werden. Eine ausgangsseitige Filterung mit einem Bandpassfilter ist nicht nötig, da das Laserlicht monochromatisch ist. Probleme mit der Wärmeabfuhr auf Grund hoher Leistung der Beleuchtungsquelle treten hier nicht auf. The inventive structured light system only needs to illuminate individual points or lines in the scene, so that the use of lasers for illumination is permitted. As a result, the optical output power, which is also specified per area, be chosen significantly lower. An output side filtering with a bandpass filter is not necessary because the laser light is monochromatic. Problems with heat dissipation due to high power of the illumination source do not occur here.
Zusätzlich kann durch die oben beschriebene Auswerteelektronik
Ein schneller, im NIR-Bereich von ca. 780 nm bis 1200 nm empfindlicher Sensor
Zu jedem bildgebenden Chip gibt es eine fest zugeordnete Lichtquelle mit unterschiedlichen Wellenlängen. Mit Hilfe dieses Ansatzes kann das Geschwindigkeitsproblem der bisherigen Kameralösungen optimiert werden, da diese simultan in derselben Szene verwendet werden können. Die Lichtquelle sollte einen sehr schmalen Wellenlängenbereich bereitstellen (beispielsweise monochrome Laser-Dioden oder gefilterte LEDs). Hierbei muss jedoch auf die optische Ausgangsleistung geachtet werden. Das Verhältnis zwischen einer für den Menschen ungefährlichen Lichtleistung und der von der Kamera nutzbaren, gefilterten Strahlungsintensität muss dabei gewahrt bleiben. Optische Filter können Bandbreiten von minimal 10nm mit einer Toleranz von ± 2nm besitzen. Um eine Beeinflussung der bildgebenden Chips durch die Lichtquellen der anderen Kameras zu vermeiden, wird der Abstand zwischen den Wellenlängen der einzelnen Tiefenkameras über der Bandbreite des optischen Filters der anderen Kameras gewählt. Each imaging chip has a dedicated light source of different wavelengths. With the help of this approach, the speed problem of the previous camera solutions can be optimized because they can be used simultaneously in the same scene. The light source should provide a very narrow wavelength range (for example, monochrome laser diodes or filtered LEDs). However, attention must be paid to the optical output power. The relationship between a harmless to human light output and the camera usable, the filtered radiation intensity must be maintained. Optical filters can have bandwidths of a minimum of 10nm with a tolerance of ± 2nm. To avoid influencing the imaging chips by the light sources of the other cameras, the distance between the wavelengths of the individual depth cameras is selected over the bandwidth of the optical filter of the other cameras.
Beispiel: Example:
Industriell verfügbare schmalbandige optische Filter lassen sich mit folgenden Formeln beschreiben und unterscheiden:
- CWL
- – Mittlere Wellenlänge,
- CWLTolerance
- – Abweichung von der Mittleren Wellenlänge ±,
- FWHM
- – Bandbreite mit >50% Durchlässigkeit,
- FWHMTolerance
- – Abweichung von der Bandbreite ± und
- K
- – Selbstgewählter Sicherheitsfaktor
- CWL
- Middle wavelength,
- CWLTolerance
- - deviation from the mean wavelength ±,
- FWHM
- Bandwidth with> 50% transmission,
- FWHMTolerance
- - deviation from the bandwidth ± and
- K
- - Selected safety factor
Auf Grund des Filters "sieht" jeder bildgebende Chip nur das reflektierte Licht, das aus seiner zugeordneten Quelle kommt. Because of the filter, each imaging chip "sees" only the reflected light coming from its associated source.
(siehe
Im Nachfolgenden werden anhand zweier Anwendungsbeispiele die beiden Systeme verglichen – das Kamerasystem mit mehreren ToF-Kameras und das mit einer Vielzahl von λ-Tiefenkameras. In the following, the two systems are compared using two application examples - the camera system with several ToF cameras and that with a large number of λ depth cameras.
Anwendungsbeispiel 1: Application Example 1
Bei einem Röntgensystem mit einem C-Bogen
Eine einzelne ToF-Kamera arbeitet mit einer Bildwiederholfrequenz von ca. 25 fps. Bei einem Aufbau mit fünf ToF-Kameras sinkt die Bildwiederholfrequenz auf ca. 5 fps, bei 10 ToF-Kameras sogar auf ca. 3 fps. A single ToF camera works with a refresh rate of approximately 25 fps. In a setup with five ToF cameras, the refresh rate drops to approximately 5 fps, with 10 ToF cameras even to approximately 3 fps.
Das vorgestellte λ-Tiefenkamera-System hängt nur von der Chip-Ausleserate ab und könnte mit einer Bildwiederholrate von ca. 100 fps arbeiten. The introduced λ-depth camera system depends only on the chip readout rate and could work with a refresh rate of about 100 fps.
In der nachfolgenden Tabelle 2 können die Distanzen abgelesen werden, die bei den unterschiedlichen Kamerasystemen von dem C-Bogen
Anwendungsbeispiel 2: Application Example 2:
Bewegungen des C-Bogens
Am Ende eines Frames wird ein Bild ausgegeben, welches über die Zeit des Frames gewonnen wurde. Innerhalb eines Frames müssen die ToF-Kameras nacheinander die Szene aufnehmen. Beim ToF-Kamera-System werden beim Aufbau mit mehreren Kameras somit Bilder von unterschiedlichen Zeitpunkten zu einem Gesamtbild zusammengefasst. Hieraus ergibt sich ein "verschmieren" des Bildes und bewegte Objekte können größer oder verzerrt dargestellt werden. Beim vorgestellten System werden alle Aufnahmen zum gleichen Zeitpunkt synchron gestartet und bilden somit auch alle die gleiche Szene ab. At the end of a frame, an image is output, which was obtained over the time of the frame. Within a frame, the ToF cameras must record the scene one after the other. In the ToF camera system, when used with multiple cameras, images from different time points are combined to create a complete picture. This results in a "blur" of the image and moving objects can be displayed larger or distorted. In the presented system, all recordings are started synchronously at the same time and thus also depict all the same scene.
Hierfür kann wieder Tabelle 2 herangezogen werden. Die Strecke, die von einem rotierenden C-Bogen
Bei dem vorgestellten Röntgensystem mit C-Bogen
Ein weiterer Punkt um den Rekonstruktionsalgorithmus des λ-Tiefenkamerasystems zu verbessern, wäre die Nutzung von Subtraktionsbildern mit einem gepulsten "Structured Light Grid". In zwei aufeinanderfolgenden Frames wird die Szene einmal mit aktiv eingebrachtem NIR-Licht und einmal ohne aufgenommen. Diese beiden Bilder werden dann voneinander subtrahiert. Mit diesem Verfahren wird zwar die Abtastrate des bildgebenden Chips xx halbiert, jedoch kann wegen der verfügbaren Hochfrequenzchips immer noch eine deutlich höhere Frame-Rate als bei den anderen Kamerasystemen realisiert werden. Vorteil dieses Verfahrens ist die Eliminierung von Störquellen in demselben schmalbandigen Frequenzbereich und eine positive Verminderung der optischen Gesamtausgangsleistung. Another point to improve the reconstruction algorithm of the λ depth camera system would be the use of subtraction images with a pulsed structured light grid. In two consecutive frames, the scene is recorded once with the NIR light active and once without. These two images are then subtracted from each other. Although the sampling rate of the imaging chip xx is halved with this method, a significantly higher frame rate than the other camera systems can still be realized due to the available high-frequency chips. The advantage of this method is the elimination of noise sources in the same narrowband frequency range and a positive reduction of the total optical output power.
Der erfinderische Schritt liegt in der Zuordnung von Lichtquellen mit unterschiedlichen Wellenlängen zu einem spezifischen bildgebenden Chip, wobei ein zu diesem Kamerasystem passendes schmalbandiges optisches Filter störende Einflüsse von Lichtquellen anderer Tiefenkameras eliminiert. Somit ist ein simultaner Betrieb mehrerer Tiefenkameras möglich ohne, dass diese sich gegenseitig beeinflussen. The inventive step lies in the assignment of light sources with different wavelengths to a specific imaging chip, wherein a matching narrowband optical filter to this camera system eliminates disturbing influences of light sources other depth cameras. Thus, a simultaneous operation of multiple depth cameras is possible without that they influence each other.
Der Vorteil ist neben der zeitlich synchronen Bildaufnahme von multiplen Kamerasystemen einer Szene und der daraus ermöglichten Echtzeitrekonstruktion des Raums auch die hochfrequente Abtastung des Raums und somit eine Minimierung des Messfehlers von Objekten und eine Erhöhung der Sicherheit für Patient, Personal und Equipment. The advantage is not only the temporally synchronous image recording of multiple camera systems of a scene and the resulting real-time reconstruction of the room but also the high-frequency scanning of the room and thus a minimization of the measurement error of objects and an increase in safety for patient, personnel and equipment.
Zusätzlich lassen sich weitere Applikationen, wie beispielsweise eine intelligente, vorausschauende Pfadplanung, nun auch technisch realisieren. In addition, further applications, such as intelligent, forward-looking path planning, can now also be realized technically.
Die durch die Hochfrequenzchips praktikable Nutzung von Subtraktionsbildern ermöglicht eine weitere Erhöhung der Messgenauigkeit. The use of subtraction images, which is practicable due to the high-frequency chips, enables a further increase of the measuring accuracy.
Der Aufbau dieses Messsystems mit industriellen Standardprodukten lässt eine kostengünstige Realisierung zu. The construction of this measuring system with industrial standard products allows a cost-effective realization.
Eine derartige erfindungsgemäße raumüberwachende Sensorik kann bereits vor einer Kollision den Anhaltevorgang einleiten, in Echtzeit Ausweichstrategien mit einbeziehen und/oder den Bediener warnen. Such a space-monitoring sensor according to the invention can initiate the stopping process even before a collision, involve avoidance strategies in real time and / or warn the operator.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 7500784 B2 [0004, 0006] US 7500784 B2 [0004, 0006]
- DE 19743500 A1 [0015] DE 19743500 A1 [0015]
- DE 102011084444 [0017] DE 102011084444 [0017]
Zitierte Nicht-PatentliteraturCited non-patent literature
- http://en.wikipedia.org/wiki/Structured-light_3D_scanner [0021] http://en.wikipedia.org/wiki/Structured-light_3D_scanner [0021]
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102011089803A DE102011089803A1 (en) | 2011-12-23 | 2011-12-23 | System for monitoring examination space in clinical environment of e.g. C-arm X-ray diagnostic device, has depth cameras that are connected to image processing computer so as to generate three-dimensional data in accordance with object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102011089803A DE102011089803A1 (en) | 2011-12-23 | 2011-12-23 | System for monitoring examination space in clinical environment of e.g. C-arm X-ray diagnostic device, has depth cameras that are connected to image processing computer so as to generate three-dimensional data in accordance with object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102011089803A1 true DE102011089803A1 (en) | 2013-06-13 |
Family
ID=48464477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102011089803A Ceased DE102011089803A1 (en) | 2011-12-23 | 2011-12-23 | System for monitoring examination space in clinical environment of e.g. C-arm X-ray diagnostic device, has depth cameras that are connected to image processing computer so as to generate three-dimensional data in accordance with object |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102011089803A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019214686B4 (en) | 2019-09-25 | 2023-10-12 | Siemens Healthcare Gmbh | Method for determining contamination in a medical examination room |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19743500A1 (en) | 1997-10-01 | 1999-04-29 | Siemens Ag | Medical apparatus with device for detecting position of object |
| US7500784B2 (en) | 2005-03-18 | 2009-03-10 | Siemens Aktiengesellschaft | X-ray device |
| DE102011084444A1 (en) | 2011-10-13 | 2013-04-18 | Siemens Aktiengesellschaft | Method for determining limitation information describing spatial expansion of patient and e.g. ECG-device in region of X-Ray device in radiography application, involves using time-of-flight cameras as measuring device |
-
2011
- 2011-12-23 DE DE102011089803A patent/DE102011089803A1/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19743500A1 (en) | 1997-10-01 | 1999-04-29 | Siemens Ag | Medical apparatus with device for detecting position of object |
| US7500784B2 (en) | 2005-03-18 | 2009-03-10 | Siemens Aktiengesellschaft | X-ray device |
| DE102011084444A1 (en) | 2011-10-13 | 2013-04-18 | Siemens Aktiengesellschaft | Method for determining limitation information describing spatial expansion of patient and e.g. ECG-device in region of X-Ray device in radiography application, involves using time-of-flight cameras as measuring device |
Non-Patent Citations (5)
| Title |
|---|
| Büttgen, El Mechat, Lustenberger: "Pseudonoise Optical Modulation for Real-Time 3D Imaging With Minimum Interference," IEEE Transactions on Circuits and Systems - I: Regular Papers, Vol. 54, No. 10, Oktober 2007. * |
| Büttgen, El Mechat, Lustenberger: „Pseudonoise Optical Modulation for Real-Time 3D Imaging With Minimum Interference," IEEE Transactions on Circuits and Systems – I: Regular Papers, Vol. 54, No. 10, Oktober 2007. |
| http://en.wikipedia.org/wiki/Structured-light_3D_scanner |
| Wikipedia-Seite zu "ToF-Kameras" vom 15. Juni 2009:http://web.archive.org/web/20090615163641/http://de.wikipedia.org/wiki/TOF-Kamera * |
| Wikipedia-Seite zu „ToF-Kameras" vom 15. Juni 2009:http://web.archive.org/web/20090615163641/http://de.wikipedia.org/wiki/TOF-Kamera |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019214686B4 (en) | 2019-09-25 | 2023-10-12 | Siemens Healthcare Gmbh | Method for determining contamination in a medical examination room |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2613689B1 (en) | Dental x-ray device with imaging unit for surface imaging, and method for generating an x-ray of a patient | |
| DE102010018899B4 (en) | Apparatus and method for movement correction in MRI measurements | |
| DE10010724B4 (en) | Methods and devices for stereo radiography | |
| DE102008035736B4 (en) | X-ray image recording system and X-ray image recording method for recording X-ray projection images and orientation information for recorded X-ray projection images | |
| EP2584957A1 (en) | Device and method for combined optical and nuclear image acquisition | |
| DE29724767U1 (en) | Medical apparatus with device for detecting position of object - derives three dimensional data corresponding to object position to prevent collision of objects | |
| EP1531342B1 (en) | Method of detecting pedestrians | |
| DE102011084444A1 (en) | Method for determining limitation information describing spatial expansion of patient and e.g. ECG-device in region of X-Ray device in radiography application, involves using time-of-flight cameras as measuring device | |
| EP2710331A1 (en) | Optical measurement method and measurement system for determining 3d coordinates on a measurement object surface | |
| DE102006001850B4 (en) | Medical imaging device and method | |
| DE102013206911A1 (en) | Method and apparatus for the stereoscopic display of image data | |
| DE102008046346B4 (en) | Method and device for monitoring a spatial area, in particular the environment of a movable medical device | |
| EP2470857B1 (en) | Method and arrangement for determining a combined data record for a masticatory organ to be measured | |
| DE102009047867B4 (en) | Method and device for correcting truncated projection data | |
| DE102020109524A1 (en) | METHOD OF CAPTURING A PROJECTION IMAGE, CONTROL DEVICE, CONTROL PROGRAM, PROCESSING DEVICE AND PROCESSING PROGRAM | |
| EP3255608A1 (en) | Method and system for sensing a change in the position of an object | |
| DE10235849A1 (en) | Medical examination apparatus for imaging periodically-moving object, has two-dimensional radiation receiver associated with x-ray source mounted on carrier whose movement is controlled by derived synchronization signal | |
| DE60036260T2 (en) | Hybrid reconstruction for high-step distance, multi-slice and spiral heart imaging | |
| EP4402429A1 (en) | Method and device for measuring depth information relating to a scene on the basis of structured light generated by means of at least one parallel radiation source | |
| EP0918302A2 (en) | Coherence detector | |
| DE10135873A1 (en) | Method and device for submillimeter CT sections with an enlarged captured area | |
| DE102011089803A1 (en) | System for monitoring examination space in clinical environment of e.g. C-arm X-ray diagnostic device, has depth cameras that are connected to image processing computer so as to generate three-dimensional data in accordance with object | |
| DE102018204517B3 (en) | Method of imaging by means of a computed tomography device and computed tomography device | |
| DE10157065A1 (en) | Method and device for providing additional computed tomography imaging modes | |
| WO2020257839A1 (en) | Camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R230 | Request for early publication | ||
| R002 | Refusal decision in examination/registration proceedings | ||
| R003 | Refusal decision now final |
Effective date: 20130730 |