DE102014219803A1

DE102014219803A1 - Device and method for selecting a device

Info

Publication number: DE102014219803A1
Application number: DE102014219803.8A
Authority: DE
Inventors: Franziska Dinse; Philip Hafner
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens Healthcare GmbH
Priority date: 2014-09-30
Filing date: 2014-09-30
Publication date: 2016-03-31

Abstract

Die Erfindung betrifft die Auswahl eines Geräts (5, 6, 7) für die Ausführung einer auf das Gerät (5, 6, 7) bezogenen Aktion. Dabei wird eine Erfassung der Blickrichtung eines Benutzers vorgenommen und eine Überprüfung durchgeführt, ob durch den Blick des Benutzers ein Gerät (5, 6, 7) anvisierten wird. Im Falle der Anvisierung eines Geräts (5, 6, 7) erfolgt eine Festlegung des anvisierten Geräts (5, 6, 7) für die Ausführung einer auf das Gerät (5, 6, 7) bezogenen Aktion.The invention relates to the selection of a device (5, 6, 7) for the execution of an action related to the device (5, 6, 7). In this case, a detection of the line of sight of a user is made and a check is made as to whether a device (5, 6, 7) is targeted by the user's gaze. In the case of the sighting of a device (5, 6, 7), the intended device (5, 6, 7) is determined for the execution of an action related to the device (5, 6, 7).

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Auswahl eines Gerätes für die Ausführung einer auf das Gerät bezogenen Aktion. The invention relates to a device and a method for selecting a device for the execution of an action related to the device.

Benutzerfreundliche Steuerung von Geräten spielt insbesondere dort eine Rolle, wo in einem komplexen Umfeld möglichst effizient gearbeitet werden soll. Ein Bespiel ist das medizinische Umfeld, in dem Ärzte und anderes Bedienpersonal vor der Aufgabe stehen, in einem Umfeld von mehreren Geräten eine effiziente therapeutische und/oder diagnostische Handlung vorzunehmen. Die in diesem Umfeld auftretenden motorisierten Systeme (z.B. Radiographie, Fluoroskopie, Angiographie) werden aus Gründen eines effizienten Workflows zudem oft fernbedient. User-friendly control of devices plays a role especially where work is to be done as efficiently as possible in a complex environment. An example is the medical environment where physicians and other operators are faced with the task of performing an efficient therapeutic and / or diagnostic action in an environment of multiple devices. The motorized systems that occur in this environment (e.g., radiography, fluoroscopy, angiography) are also often remotely operated for efficient workflow.

Eine effiziente Bedienung von Instrumenten aus der Ferne wird herkömmlich mit Fernbedienungen realisiert. Eine Weiterentwicklung, welche nicht erfordert, ein Instrument für die Bedienung in der Hand zu haben, ist die Steuerung mittels Gesten. Gestensteuerung für den medizinischen Bereich wird beispielsweise in der WO 2011/085813 A1 und der DE 102013104429 A1 vorgeschlagen. Derartige Verfahren stecken jedoch noch in den Kinderschuhen, weil diverse Schwierigkeiten einer effizienten Anwendung entgegenstehen. An efficient operation of instruments remotely is conventionally realized with remote controls. An advancement that does not require having an instrument for the operation in hand is the control by means of gestures. Gesture control for the medical field, for example, in the WO 2011/085813 A1 and the DE 102013104429 A1 proposed. However, such methods are still in their infancy because various difficulties preclude efficient use.

Z.B. wird Gestensteuerung in komplexen Systemen unter anderem deshalb nicht verwendet, da aus Sicherheitsgründen Gesten genau bestimmten Systemteilen zugewiesen werden müssen, um eine Fehlbedienung zu verhindern. Zusätzlich muss für eine Akzeptanz beim Nutzer der zu bewegende Systemteil einfach anwählbar sein und sich einfach bewegen lassen. Eine Gestensteuerung durch den Nutzer aus größerer Entfernung bei mehreren, eventuell auch hintereinanderstehenden Systemteilen ist wegen der problematischen Zuweisung der einzelnen Gesten kaum machbar. For example, Gesture control is not used in complex systems, among other things, because for safety reasons gestures must be assigned to specific parts of the system to prevent incorrect operation. In addition, for acceptance by the user, the system part to be moved must be easy to select and easy to move. Gesture control by the user from a greater distance in the case of several, possibly also consecutive system parts is hardly feasible because of the problematic assignment of the individual gestures.

Eine weitere Schwierigkeit bei der Gestensteuerung aus beliebigen Positionen besteht darin, dass Anzeigen im Raum von akquirierten Bildern oder User-Interface-Interaktionselementen (z.B. für die Einstellung der Röntgenparameter oder Bildnachbearbeitung, etc.) nicht adäquat wiedergegeben sind. Diese sind meist abgebildet auf Monitoren (im Kontrollraum oder an der Wand oder an Decken gehängten Anzeigeelementen), an Displays am System oder innerhalb von Kontrollkonsolen. Another difficulty with gesture control from arbitrary positions is that displays in the space of acquired images or user-interface interaction elements (e.g., for setting the X-ray parameters or image postprocessing, etc.) are not adequately represented. These are usually displayed on monitors (in the control room or on the wall or ceiling hung display elements), on displays on the system or within control consoles.

Die Anzeige kann also an beliebigen Orten vorgesehen sein, z.B. Monitor, Display am System, Projektion im Raum oder auf Wand, Holographie im Raum oder ein Gerät oder eine Glaswand zwischen System und Betrachter. Mit diesen Anzeigen ist eine Interaktion notwendig zur Adaption und Eingabe von Steuerungswerten oder zur Betrachtung oder Überwachung von diesen Informationen. Um eine sichere Interaktion zu gewährleisten, müssen die Anzeigeelemente gut erkennbar dargestellt sein. The display can therefore be provided at any location, e.g. Monitor, display on the system, projection in the room or on a wall, holography in the room or a device or a glass wall between the system and the viewer. These displays require interaction to adapt and input control values or to view or monitor this information. To ensure a secure interaction, the display elements must be clearly visible.

Oftmals ist allerdings ein Erkennen von Informationen oder eine Interaktion mit dem Anzeigeelement aus größerer Entfernung notwendig, wie z.B. bei mobilen C-Bögen, wenn der Monitor-Trolley in großer Entfernung gegenüber vom Benutzer/Patienten plaziert ist oder z.B. bei Radiographiesystemen, wenn der Nutzer im Raum das System automatisch an die Organprogramm-Position fahren lässt und Röntgenparameter überprüfen möchte (ohne zum Touchscreen am System oder in den Kontrollraum zu laufen). Often, however, recognition of information or interaction with the display element from a greater distance is necessary, such as e.g. for mobile C-arms, when the monitor trolley is placed a long distance from the user / patient, or e.g. in radiographic systems, if the user in the room wants to automatically drive the system to the organ program position and check X-ray parameters (without running to the touch screen on the system or into the control room).

Hier stellt sich also das Problem, dass auf einer Anzeige angezeigten Informationen aus größerer Entfernung nicht gut lesbar bzw. erkennbar sind und auch eine Interaktion mittels Gesten mit dieser Anzeige nicht gut möglich ist. Ein näheres Herangehen an die Anzeige um Informationen zu lesen, unterbricht den Eingabefluß und ist dem Bedienkomfort abträglich. This raises the problem that displayed on a display information from a distance away are not easily readable or recognizable and interaction with gestures with this display is not well possible. A closer look at the display to read information interrupts the input flow and is detrimental to ease of use.

Die Erfindung hat zur Aufgabe, eine bedienerfreundliche Fernsteuerung von Geräten zu ermöglichen. The invention has for its object to enable a user-friendly remote control of devices.

Die Aufgabe wird gelöst durch eine Vorrichtung und ein Verfahren zur Auswahl eines Gerätes für die Ausführung einer auf das Gerät bezogenen Aktion nach Anspruch 1 bzw. Anspruch 14. The object is achieved by a device and a method for selecting a device for the execution of an action related to the device according to claim 1 or claim 14.

Es wird erfindungsgemäß eine Vorrichtung zur Auswahl eines Gerätes für die Ausführung einer auf das Gerät bezogene Aktion vorgeschlagen. Mit dem Begriff „Vorrichtung zur Auswahl eines Gerätes“ ist gemeint, dass die Vorrichtung in einer Umgebung von einer Mehrzahl von Geräten anwendbar ist, in der eine Auswahl stattfinden muss. Die Vorrichtung besitzt die entsprechende Funktionalität, ist aber nicht notwendigerweise nur im Zusammenhang mit einer Mehrzahl von Geräten verwendbar. Es ist z.B. auch denkbar, dass eine derartige Vorrichtung in einem Umfeld zum Einsatz kommt, in dem zumindest zeitweise nur ein Gerät vorgesehen ist, so dass eine Auswahl dieses einen Geräts erfolgt. It is proposed according to the invention a device for selecting a device for the execution of an action related to the device. By the term "device for selecting a device" is meant that the device is applicable in an environment of a plurality of devices in which a selection must take place. The device has the appropriate functionality, but is not necessarily usable only in connection with a plurality of devices. It is e.g. also conceivable that such a device is used in an environment in which at least temporarily only one device is provided, so that a selection of this one device takes place.

Der Begriff „Gerät“ soll hierbei so verstanden werden, dass er auch eindeutig identifizierbare Geräteteile bzw. Gerätekomponenten umfasst. Derartige Gerätekomponenten währen bei einem Röntgengerät z.B. der Strahler und der Detektor. Die Auswahl eines Geräteteils bzw. einer Gerätekomponente soll also durch die Ansprüche auch umfasst sein. Ein Gerät im Sinne der Schutzansprüche kann sowohl ein Gesamtsystem (Z.B. medizinisches Diagnose- oder Therapiegerät, wie Röntgengerät, Ultraschallgerät, Kernspintomograph, …), eine Komponente (Strahler, Detektor, Liegenbrett, …) als auch ein Zubehörteil (Anzeigesystem, Monitor, Biopsiegerät, Kamera …) sein. The term "device" is to be understood here as including also uniquely identifiable device parts or device components. Such device components would, for example, be the radiator and the detector in an X-ray machine. The selection of a device part or a device component should thus also be encompassed by the claims. A device within the meaning of the protection claims can be both an overall system (eg medical diagnostic or therapeutic device, such as X-ray device, ultrasound device, Magnetic resonance tomograph, ...), a component (radiator, detector, couch, ...) as well as an accessory (display system, monitor, biopsy device, camera ...).

Die erfindungsgemäße Vorrichtung ist mit einer Erfassungsvorrichtung für die Blickrichtung eines Benutzers ausgerüstet. Eine derartige Erfassungsvorrichtung kann beispielsweise mit einer oder einer Mehrzahl von Kameras gebildet sein. Schließlich umfasst die Vorrichtung auch noch eine Analysevorrichtung zur Überprüfung, ob durch den Blick des Benutzers ein Gerät anvisiert wird, bzw. ob der Blick des Benutzers auf ein Gerät gerichtet wird. Diese Analysevorrichtung ist zudem zur Festlegung eines anvisierten Gerätes für die Ausführung einer auf das Gerät bezogenen Aktion ausgebildet. Die Analysevorrichtung kann auch in Rechenmitteln bestehen, die integriert in der Erfassungsvorrichtung angeordnet sind. The device according to the invention is equipped with a detection device for the viewing direction of a user. Such a detection device may be formed, for example, with one or a plurality of cameras. Finally, the device also comprises an analysis device for checking whether a device is being sighted by the user's gaze, or whether the user's gaze is directed to a device. This analysis device is also designed to determine a targeted device for the execution of an action related to the device. The analysis device may also consist of calculation means which are integrated in the detection device.

Die Einbeziehung der Blickrichtung des Bedieners erlaubt ein für die Steuerung von Geräten bedienerfreundlicheres Umfeld zu schaffen. Beispielsweise kann die Aktion eine Anpassung eines Steuersystems für die Steuerung des anvisierten Gerätes umfassen. In diesem Zuge können beispielsweise Einstellungen für die Steuerung vorgenommen werden. Eine derartige Einstellung kann die Festlegung des anvisierten Geräts als durch ein Steuerungssystem zu steuerndes Gerät umfassen. D.h. hier findet die Auswahl eines Gerätes statt, so dass nachfolgende Steuerungsaktionen auf dieses Gerät bezogen werden. Die Festlegung als zu steuerndes Gerät kann beispielsweise andauern, solange das Gerät anvisiert wird. Alternativ kann eine Entkopplung vom Steuerungssystem und Gerät mittels einer eines Kommandos (z.B. Geste) einer Tasteneingabe oder eines anderen Steuerbefehls bewirkt werden. Ein derartiges Steuerungssystem, welches das anvisierte Gerät steuert, ist vorzugsweise dafür ausgestaltet, für eine Mehrzahl von Geräten verwendbar zu sein. Der Begriff „Steuerungssystem“ wird hierbei in einem breiten Sinn verstanden, so dass auch Regelungssysteme oder Steuerungssysteme mit Regelungselementen umfasst sind. The inclusion of the line of sight of the operator allows to create a more user-friendly environment for the control of devices. For example, the action may include an adaptation of a control system for the control of the targeted device. In this course, for example, settings for the control can be made. Such an adjustment may include the determination of the targeted device as a device to be controlled by a control system. That Here the selection of a device takes place, so that subsequent control actions are related to this device. The determination as a device to be controlled may continue, for example, as long as the device is sighted. Alternatively, decoupling may be effected from the control system and apparatus by means of a command (e.g., gesture) of a key input or other control command. Such a control system that controls the targeted device is preferably configured to be usable for a plurality of devices. The term "control system" is understood here in a broad sense, so that control systems or control systems are included with control elements.

Vorzugsweise handelt es sich bei dem Steuerungssystem um ein auf Gestensteuerung basierendes Steuerungssystem. Für ein derartiges System kann ein auf Richtung des Benutzers bezogener Winkel (z.B. im Bezug auf den Boden oder auf eine Anzeigefläche) berechnet werden und eine für die Ausführung einer auf das Gerät bezogenen Aktion (z.B. Anpassung von Einstellungen des Steuerungssystems für Gestensteuerung durch Benutzer) nach Maßgabe des Winkels festgelegt werden. So wäre z.B. abhängig von der Größe des Benutzers und der Entfernung vom System der Bereich für Gesten im Zuge einer Gestensteuerung festzulegen, um dem Benutzer eine möglichst einfache und komfortable Steuerung zu ermöglichen. Durch die Berechnung des Winkels und die entsprechende Anpassung des Steuersystems kann dies gewährleistet werden. Preferably, the control system is a gesture control based control system. For such a system, an angle related to the direction of the user (eg, with respect to the floor or to a display area) may be calculated, and one for performing an action related to the device (eg, adjustment of user gesture control system settings) Given the angle of the angle. For example, Depending on the size of the user and the distance from the system, the gesture gestures area may be set in the course of gesture control to provide the user with the easiest and most comfortable control possible. By calculating the angle and adjusting the control system, this can be ensured.

Die Erfassungsvorrichtung ist in der Ausgestaltung, bei welcher eine Gestensteuerung vorgesehen ist, vorzugsweise auch für die Erfassung für Gesten von Gesten im Zuge der Gestensteuerung des anvisierten Gerätes ausgebildet, d.h. hierbei wird nicht nur eine Erfassung der Blickrichtung sondern eine Erfassung der Gesten durch die Erfassung der Vorrichtung gewährleistet. The detection device is in the embodiment in which a gesture control is provided, preferably also designed for the detection of gesture gestures in the course of the gesture control of the targeted device, i. Not only a detection of the line of sight but a detection of the gestures is ensured by the detection of the device.

Gemäß einer Ausgestaltung ist die Vorrichtung für eine Rückmeldung über die Auswahl des Gerätes (d.h. eine Identifikation des Gerätes) an den Benutzer ausgestaltet, so dass der Benutzer mit Sicherheit weiß, auf welches System seine nachfolgenden Aktionen bezogen werden. Diese Rückmeldung kann beispielsweise mittels Anzeige einer auf das Gerät bezogenen Information auf einer Anzeigeeinheit (z.B. Bildschirm oder Projektion auf geeigneter Fläche) oder durch ein optisches oder akustisches räumlich dem Gerät zugeordnetes Signal realisiert sein. According to one embodiment, the device is configured for feedback on the selection of the device (i.e., an identification of the device) to the user, so that the user knows with certainty to which system his subsequent actions will be referred. This feedback can be realized, for example, by displaying information related to the device on a display unit (e.g., screen or projection on a suitable surface) or by an optical or acoustic signal spatially associated with the device.

Gemäß einer Ausgestaltung umfasst die Aktion eine Größenanpassung der Darstellung zumindest einer auf das Gerät bezogenen Information (Textinformation, Bildinformation, funktionales Element zur Eingabe eines Steuerbefehls) auf einer Anzeige. According to one embodiment, the action comprises resizing the representation of at least one information related to the device (text information, image information, functional element for inputting a control command) on a display.

Bei der Ausgestaltung kann die Aktion nach Maßgabe einer Inbezugsetzung von zumindest einer benutzerbezogenen Positionsinformation (z.B. Augenposition) mit zumindest einer auf das anvisierte Gerät bezogenen Positionsinformation festlegbar sein. Somit kann ein Abstand zwischen einer auf den Benutzer bezogenen Positionsinformation und einer auf das Gerät bezogenen Position berechnet werden und eine für die Ausführung einer auf das Gerät bezogenen Aktion (z.B. Größenanpassung einer Anzeige) nach Maßgabe des Abstandes festgelegt werden. Die auf das Gerät bezogene Position kann hierbei insbesondere auch die Position einer Anzeige sein. In the embodiment, the action may be determinable in accordance with an association of at least one user-related position information (e.g., eye position) with at least one position information related to the targeted device. Thus, a distance between a user-related position information and a device-related position can be calculated, and an action (e.g., sizing of a display) for executing an action related to the apparatus can be set in accordance with the distance. The position relative to the device can in this case also be, in particular, the position of a display.

Es kann ein Kriterium für die Anvisierung des Geräts verwendet werden, welches mit einem Schwellenwert arbeitet, der sich auf die Abweichung der erfassten Blickrichtung von dem anvisierten Gerät (z.B. Entfernung von Geräteposition von durch Blick definierter Geraden bzw. abhängig davon, ob eine gem. Blick definierte Gerade ein Gerät schneidet; Toleranzen für die Bestimmung des anvisierten Geräts werden dabei vorzugsweise gem. typischen Abständen verschiedener Geräte eingestellt) und/oder die Zeitdauer bzw. Verweildauer eines Blicks in einem auf das Gerät bezogenen Blickrichtungsbereich bzw. Blickrichtungskorridor oder Blickrichtungssegment bezieht. It is possible to use a criterion for the sighting of the device, which works with a threshold value that depends on the deviation of the detected viewing direction from the sighted device (eg distance of device position from sight-defined straight lines or depending on whether a view defined straight line cuts a device, tolerances for the determination of the targeted device are preferably set in accordance with typical distances between different devices) and / or the duration or duration of a look in a viewing direction range related to the device or viewing direction corridor or viewing direction segment.

Die Erfindung umfasst auch ein Verfahren zur Auswahl eines Geräts für die Ausführung eines einer auf das Gerät bezogenen Aktion. Dabei wird bei einer erfassten Blickrichtung eines Benutzers überprüft, ob durch den Blick des Benutzers ein Gerät anvisiert wird. Und es wird ein anvisiertes Gerät für die Ausführung einer auf das Gerät bezogenen Aktion festgelegt. The invention also includes a method for selecting a device for performing an action related to the device. It is checked at a detected line of sight of a user, whether by the user's gaze a device is targeted. And a targeted device is set to perform an action related to the device.

Im Folgenden wird die Erfindung im Rahmen von Ausführungsbeispielen anhand von Figuren näher erläutert. In the following the invention is explained in more detail in the context of embodiments with reference to figures.

Es zeigen Show it

1: einen für die Anwendung der Erfindung ausgestalteten Untersuchungsraum mit mehreren Geräten 1 a research room with several devices designed for the application of the invention

2: die Anvisierung verschiedener Geräte in dem Untersuchungsraum aus 1 2 : the sights of various devices in the examination room 1

3: die Anvisierung verschiedener Geräte in dem Untersuchungsraum aus 1 von einer anderen Bedienposition aus 3 : the sights of various devices in the examination room 1 from another operating position

4: eine Seitenansicht einer Gestensteuerung in dem Bedienraum aus 1 4 : a side view of a gesture control in the control room off 1

5: eine Sicht einer Gestensteuerung in dem Bedienraum aus 1 aus der Perspektive eines Bedieners 5 : a view of gesture control in the control room 1 from the perspective of an operator

6: eine Bewegung einer Komponente mittels Gestensteuerung 6 : a movement of a component by means of gesture control

7: ein Ablaufdiagramm für ein erstes erfindungsgemäßes Verfahren 7 : a flow chart for a first method according to the invention

8: eine erste Bewegung eines Röntgenstrahlers mittels Gestensteuerung 8th : a first movement of an X-ray source by means of gesture control

9: ein anderes Beispiel der Bewegung des Röntgenstrahlers aus 7 mittels Gestensteuerung 9 : another example of X-ray movement 7 using gesture control

10: eine Bewegung eines Detektors mittels Gestensteuerung (1. Alternative) 10 : a movement of a detector by means of gesture control (1st alternative)

11: eine Bewegung eines Detektors mittels Gestensteuerung (2. Alternative) 11 : a movement of a detector by means of gesture control (2nd alternative)

12: eine Drehung einer Komponente mittels Gestensteuerung 12 : a rotation of a component using gesture control

13: verschiedene Anzeigemöglichkeiten in einem Untersuchungsraum gemäß Bild 1 13 : various display options in an examination room according to Figure 1

14: eine erste Darstellung von Text in einem Untersuchungsraum gemäß 1 14 : a first representation of text in an examination room according to 1

15: eine zweite Darstellung von Text in einem Untersuchungsraum gem. 1 bei einer anderen Bedienerposition 15 : a second representation of text in an examination room acc. 1 at a different operator position

16: eine Darstellung von Elementen bei verschiedenen Bedienerabständen 16 : a representation of elements at different operator distances

17: ein Ablaufdiagramm für ein zweites erfindungsgemäßes Verfahren 17 : a flow chart for a second method according to the invention

18: ein Beispiel einer Interaktion mittels Gestensteuerung in einem Bedienraum gemäß 1 18 : an example of an interaction by means of gesture control in a control room according to 1

19: die Interaktion entsprechend 18 aus der Perspektive eines Bedieners 19 : the interaction accordingly 18 from the perspective of an operator

Eine zentrale Überlegung der vorliegenden Erfindung geht dahin, die Blickrichtung eines Bedieners zu erfassen und diese Information als Steuerungsinformationen zu verwenden. Vorzugsweise wird dabei mit einem sogenannten Eye-Tracker oder Eye-Tracking-System gearbeitet. Zur Informationsaufnahme ist das menschliche Auge relativ zum betrachtenden Objekt in Ruhe zu halten. Dauert dieser Zustand länger als 100 msec an, spricht man von einer Fixation, und es ist möglich, Bildinformationen aufzunehmen. In der Regel liegt die Fixationsdauer bei ca. 250 msec. Dies kann mit einem Eye-Tracking-System detektiert werden. Dabei wird vorzugsweise mit einem sog. Remote-Eye-Tracker oder einem sog. Fixed-Camera-System gearbeitet. Derartige Systeme erreichen typischerweise Abtastraten bis 120 Hz, Auflösungen von 0,1° und eine Genauigkeit von ca. 0,5° bei einem Abstand zwischen Kamera und Bediener von 60 bis 80 cm. Es werden dabei eine oder mehrere Kameras benutzt, um die die Augen aufnehmen. Mittels Bildverarbeitungsmethoden und Kriterien für die Fixation eines Geräts wird ein Gerät als anvisiertes Gerät detektiert bzw. identifiziert. A central consideration of the present invention is to detect the viewing direction of an operator and to use this information as control information. Preferably, work is done with a so-called eye tracker or eye tracking system. To record information, the human eye is to be kept at rest relative to the object being viewed. If this condition persists for more than 100 msec, it is called a fixation and it is possible to record image information. As a rule, the fixation duration is about 250 msec. This can be detected with an eye-tracking system. In this case, it is preferable to work with a so-called remote eye tracker or a so-called fixed-camera system. Such systems typically achieve sampling rates up to 120 Hz, resolutions of 0.1 ° and an accuracy of about 0.5 ° with a distance between camera and operator of 60 to 80 cm. One or more cameras are used to pick up the eyes. By means of image processing methods and criteria for the fixation of a device, a device is detected or identified as a targeted device.

Wie in 1 gezeigt, ist dabei mindestens eine Kamera 3 vorgesehen, die den dort gezeigten Behandlungsraum und die Benutzeraugen 1 erfasst. Die Kamera 3 kann sowohl im Raum als auch am Nutzer (z.B. über dessen Stirn) befestigt sein. Im zweiten Fall würde man auch von einem Head-Supported Eye-Tracker oder einem Head-Mounted Eye-Tracker sprechen. Die Kamera 3 erfasst, in welche Richtung der Nutzer gerade blickt. As in 1 shown is at least one camera 3 provided, the treatment room shown there and the user's eyes 1 detected. The camera 3 can be mounted both in the room and on the user (eg over the forehead). In the second case, one would also speak of a head-supported eye tracker or a head-mounted eye tracker. The camera 3 detects in which direction the user is currently looking.

In dem Behandlungsraum sind verschiedene Geräte vorhanden, die durch den Blick ausgewählt werden können. An einem Bodenstativ 4 ist ein Detektor 7 angebracht. Zudem ist deckenmontiert ein Strahler 5 vorgesehen, der sowohl für das Bodenstativ 4 als auch für einen in der Liege 6 integrierten Detektor, (d.h. für eine Aufnahme wird der Strahler 5 über der Liege 6 für eine Aufnahme mit dem in der Liege 6 integrierten Detektor positioniert) verwendet werden kann. Für eine Gestensteuerung werden Bilder verarbeitet, bei denen die Kamera 3 die Hand 2 des Benutzers aufnimmt. In the treatment room various devices are available, which can be selected by the look. On a ground stand 4 is a detector 7 appropriate. In addition, ceiling mounted is a spotlight 5 provided for both the floor stand 4 as well as for one in the couch 6 integrated detector, (ie for a recording, the spotlight 5 over the couch 6 for a recording with the in the lounger 6 integrated detector positioned) can be used. For gesture control, images are processed using the camera 3 the hand 2 of the user.

Mittels der Informationen, die die Kamera 3 erfasst, d.h. die Position der Benutzeraugen, Blickrichtung, Gerätepositionen sowie die Position der Hände und Arme des Benutzers, wird im System errechnet, in welcher Perspektive der Nutzer gerade auf das System blickt. Dies ist in den 2 und 3 zu sehen, wo die verschiedenen Möglichkeiten 14, 15 und 16 der Anvisierung des Strahlers 5, des Detektors 7, und des Patiententisches 6 gezeigt sind. 2 und 3 unterscheiden sich durch einen anderen Blickwinkel, welcher aus der durch die Kamera 3 aufgenommenen Bilder berechnet werden kann, d.h. der Nutzerblickwinkel wird in Relation zu den Systemkomponenten gesetzt. Dies ist in 5 und 6 noch einmal dargestellt. Using the information provided by the camera 3 The position of the user's eyes, line of sight, device positions and the position of the user's hands and arms is calculated in the system, in which perspective the user is currently looking at the system. This is in the 2 and 3 to see where the different possibilities 14 . 15 and 16 the sights of the spotlight 5 , the detector 7 , and the patient table 6 are shown. 2 and 3 differ by a different angle, which from the camera 3 taken pictures, ie the user's viewing angle is set in relation to the system components. This is in 5 and 6 shown again.

In 5 befindet sich die Benutzerhand 2 in Höhe der Verbindungslinie zwischen Auge 1 und dem anvisierten Gerät bzw. der anvisierten Gerätekomponente 7, d.h. dem Detektor des bodenmontierten Geräts 4. Dadurch ergibt sich eine Situation, wie sie in 5 gezeigt wird, welche die Betrachterperspektive für die Situation aus 4 wiedergibt. Der Betrachter nimmt eine Geste vor, mit der er den Detektor 7 praktisch erfasst. Wie in 6 anhand Pfeil 8 gezeigt ist, wird nun die Geste des Benutzers interpretiert und eine entsprechende Steueraktion, beispielsweise eine vertikale Verschiebung des Detektors 7, vorgenommen. In 5 is the user hand 2 at the level of the connecting line between eye 1 and the targeted device or device component 7 , ie the detector of the floor mounted device 4 , This results in a situation as in 5 showing what the viewer's perspective is for the situation 4 reproduces. The viewer makes a gesture with which he uses the detector 7 practically recorded. As in 6 by arrow 8th is shown, the gesture of the user is now interpreted and a corresponding control action, such as a vertical displacement of the detector 7 , performed.

Ein Verfahren für die entsprechende Anpassung des Steuersystems entsprechend verschiedener Winkel, wie sie in 2 und 3 gezeigt sind, ist in 7 in Form eines Ablaufdiagramms angegeben. Ein erster Schritt a) besteht in einer Richtungserkennung für die Augen des Benutzers. Anhand der aufgenommenen Bilder wird ausgewertet und entschieden, ob ein Gerät anvisiert wird. Falls kein Gerät bzw. keine Gerätekomponente als anvisiert identifiziert wird, wird die Richtungserkennung für die Augen des Benutzers fortgeführt. Für einen Auswahl durch Anvisierung kann vorgesehen sein, dass alle Geräte, welche für die Anvisierung in Frage kommen, vorab registriert werden und für sie ein Auswahlkriterium definiert wird. Gemäß 7 wird, wenn bei der Auswahl b) ein eindeutiges Ergebnis erhalten wird, ein Gerät für die Gestensteuerung festgelegt. Es folgt danach – wie in 2 und 3 angedeutet – eine Berechnung des Winkels für die Blickrichtung und in Schritt c) dann eine Anpassung der Gestensteuerung entsprechend dieses Winkels. Es kann vorgesehen sein, dass in der Folge eine Abfrage f) verwendet wird, der zufolge überprüft wird, ob das Gerät weiter anvisiert wird. Falls dies der Fall ist, kann mitlaufend eine Berechnung des Winkels für die Blickrichtung und anschließend eine Anpassung der Gestensteuerung gemäß dem Winkel erfolgen, so dass mitlaufend eine Anpassung erfolgt. So kann sich der Bediener auch im Raum bewegen, denn die Einstellung für die Gestensteuerung wird nachgeführt. Falls das Gerät nicht anvisiert ist, ist eine Abfrage g) vorgesehen, ob die Gestensteuerung beendet werden soll. Diese Abfrage kann auch als direkte Eingabe zur Beendigung bzw. Weiterführung des Steuerungsvorgangs realisiert sein. Wenn keine Beendigung der Gestensteuerung vorgesehen ist, erfolgt eine erneute Richtungserkennung für die Augen des Benutzers, so dass an dieser Stelle ein Wechsel des Geräts für die Gestensteuerung durchgeführt kann. Schließlich ist am Ende der Gestensteuerung in einem Schritt i) die Beendigung des Verfahrens vorgesehen. A method for the corresponding adjustment of the control system according to different angles, as shown in 2 and 3 are shown in 7 indicated in the form of a flow chart. A first step a) consists of a direction detection for the eyes of the user. Based on the recorded images is evaluated and decided whether a device is targeted. If no device or device component is identified as targeted, the user's eye direction detection will continue. For a selection by Anvisierung can be provided that all devices that are eligible for the Anvisierung be registered in advance and for them a selection criterion is defined. According to 7 If the selection b) is unambiguous, then a gesture control device is set. It follows afterwards - as in 2 and 3 indicated - a calculation of the angle for the line of sight and in step c) then an adjustment of the gesture control according to this angle. It can be provided that in the sequence a query f) is used, which is checked according to whether the device is still anvisiert. If this is the case, a calculation of the angle for the line of vision and then an adjustment of the gesture control according to the angle can be carried out concurrently, so that an adaptation is carried out along the way. This allows the operator to move around in the room because the gesture control setting is tracked. If the device is not targeted, a query g) is provided as to whether the gesture control is to be ended. This query can also be realized as a direct input to terminate or continue the control process. If no termination of the gesture control is provided, a new direction detection for the eyes of the user, so that at this point a change of the device for the gesture control can be performed. Finally, the termination of the method is provided at the end of the gesture control in a step i).

Führt der Nutzer Gesten aus, um das Systemteil zu bewegen, so kann er die Elemente aus seinem Blickwinkel heraus quasi berühren und diese bewegen, als hätte er sie an bzw. auf der Hand (aus seinem Blickwinkel). Durch dieses In-Relation-Setzen kann der Nutzer beliebige Gesten ausführen. Jeder Nutzer kann also nach individuellen Vorlieben die Geste ausführen und muss somit keine Geste wieder via Handbuch vorher erlernen. Dies ist auch in den 8, 9, 10, 11 und 12 gezeigt, wobei in 12 eine Rotation des Strahlers 5 durchgeführt wird, was mit dem Pfeil 9 und den beiden Handstellungen 2´ und 2´´ verdeutlicht wird. Insgesamt können alle Freiheitsgrade (z.B. fünf für den Strahler 5) mittels Handgestik bedient werden. If the user makes gestures to move the system part, he can almost touch the elements from his perspective and move them as if he had them on his hand (from his point of view). Through this in-relation setting the user can execute any gestures. Each user can therefore according to individual preferences, the gesture and therefore no gesture again via manual before learning. This is also in the 8th . 9 . 10 . 11 and 12 shown in FIG 12 a rotation of the radiator 5 what is done with the arrow 9 and the two hand positions 2' and 2'' is clarified. Overall, all degrees of freedom (eg five for the spotlight 5 ) are operated by hand gesture.

In 13 sind schließlich mehrere Möglichkeiten für die Anzeige von Informationen angegeben. Dies kann mittels Monitoren oder Projektion 21 im Behandlungsraum, mittels Projektion auf eine Glaswand 22 oder mittels eines Hologramms im Raum 23 erfolgen. Es wird, wie bei der Steuerung von Systembewegungen, die Relation von Position mit Blickwinkel des Nutzers zum System – hier zum Anzeigegerät – mittels Kamera erfasst. In 13 Finally, there are several ways to display information. This can be done by means of monitors or projection 21 in the treatment room, by projection onto a glass wall 22 or by means of a hologram in the room 23 respectively. It is, as with the control of system movements, the relation of position with the user's perspective to the system - here to the display device - captured by camera.

Die Anzeige kann sich an beliebigen Orten befinden, wie auch in der Figur illustriert ist: Monitor, Display am System, Projektion im Raum oder auf Hand, Holographie im Raum oder einem Gerät, Glaswand zwischen System und Betrachter. Durch die Information über die Entfernung vom Nutzer zur Anzeige kann diese in der Größe angepasst werden. Dies ist in 14 und 15 gezeigt, wo aus der Blickrichtung 17 des Betrachters die Entfernung des Betrachters von der Anzeige 24 ermittelt wird. The display can be located anywhere, as illustrated in the figure: monitor, display on the system, projection in the room or on hand, holography in the room or a device, glass wall between system and viewer. The information about the distance from the user to the ad can be resized. This is in 14 and 15 shown where from the line of sight 17 the observer's distance from the viewer 24 is determined.

In 15 ist der Betrachter 1 näher an der Anzeige als in 14. Das System berechnet die Entfernung und stellt somit den Text 24 kleiner dar, als in dem Szenario von 14. Dies ist in 16 aus anderer Perspektive nochmal illustriert. Es sind links und rechts zwei Bilder gezeigt, die die Sicht des Betrachters aus zwei unterschiedlichen Entfernungen wiedergeben (z.B. rechte Seite Nutzerperspektive bei Konstellation aus 15 und linke Seite Nutzerperspektive aus 14). Bei dem Bild der linken Seite steht der Betrachter (nicht gezeigt) näher an der Anzeige 26. Die Anzeige erscheint somit größer als im rechten Bild. Entsprechend der Entfernung wird eine Größe des Textes 26´ und eine Größe für angezeigte Tasten 26´´ festgelegt. Somit ergibt sich eine bestimmte Größenrelation zwischen Tastengröße und der Bedienerhand 25, die die Anzeige 26 überlagert. Bei größerer Entfernung verhält es sich wie auf der rechten Seite gezeigt. Textgröße 26´ und Tastengröße 26´´ werden so angepasst, dass sie weder mit derselben Größe wie auf der linken Seite, d.h. bei einer näheren Bedienerposition, wahrgenommen werden. Sie sind relativ zu der Größe, mit welche die Anzeige 26 wahrgenommen wird, größer dargestellt. Insbesondere ergibt sich damit auch ein entsprechendes Größenverhältnis zwischen der vom Benutzer wahrgenommenen eigenen Hand 25 und den Tasten 26´´, die zu betätigen sind. Das Bedienszenario für das Auslösen von Tasten 26´´, beispielsweise mit einer Handgestik, unterscheidet sich somit nicht für verschiedene Abstände von dem Benutzer zur Anzeige. In 15 is the viewer 1 closer to the ad than in 14 , The system calculates the distance and thus represents the text 24 smaller than in the scenario of 14 , This is in 16 illustrated from another perspective. There are On the left and right two pictures are shown, which represent the view of the viewer from two different distances (eg right side user perspective at constellation 15 and left side user perspective 14 ). In the image of the left side, the viewer (not shown) is closer to the display 26 , The display appears larger than in the picture on the right. According to the distance becomes a size of the text 26' and a size for displayed keys 26'' established. This results in a certain size relation between key size and the operator's hand 25 that the ad 26 superimposed. At a greater distance, it behaves as shown on the right. text size 26' and button size 26'' are adjusted so that they are not perceived with the same size as on the left side, ie at a closer operator position. They are relative to the size with which the ad is displayed 26 is perceived, shown larger. In particular, this results in a corresponding size ratio between the user's own hand 25 and the buttons 26'' which are to be operated. The operating scenario for triggering keys 26'' For example, with a hand gesture, thus does not differ for different distances from the user to the display.

In 17 ist ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens für die Anpassung einer Textgröße gezeigt. Dieses beginnt mit einer Richtungserkennung für die Augen des Benutzers (Schritt a)). Anschließend erfolgt eine Abfrage b), ob das Gerät anvisiert ist. Falls das nicht der Fall ist, wird die Richtungserkennung weitergeführt. Bei Anvisierung eines Gerätes erfolgt im Schritt c) eine Festlegung des Gerätes für die Anpassung. Bei dem Gerät kann es sich sowohl um eine Modalität, eine Modalitätenkomponente als auch ein Display handeln. Im nächsten Schritt d) erfolgt eine Berechnung der Distanz zwischen den Augen und dem Gerät, beispielsweise zischen den Augen und dem gesteuerten Detektor oder zwischen den Augen und dem anvisierten Display, welcher eventuell auch für Steuerfunktionen (beispielsweise mittels Tastenauslösung – vgl. 16) verwendet wird. In 17 a flow chart of a method according to the invention for the adaptation of a text size is shown. This begins with a direction detection for the eyes of the user (step a)). Subsequently, a query b), whether the device is anvisiert. If this is not the case, the direction detection is continued. When Anvisierung a device in step c) a determination of the device for the adjustment. The device can be both a modality, a modality component and a display. In the next step d), a calculation of the distance between the eyes and the device takes place, for example hissing the eyes and the controlled detector or between the eyes and the targeted display, which possibly also for control functions (for example by means of key activation - cf. 16 ) is used.

In einem nächsten Schritt e) folgt eine Anpassung der Textgröße und eventuell der Größe angezeigter Bilder oder Tasten gemäß der Distanz (vgl. 16). Es kann mitlaufend eine Abfrage erfolgen, ob das Gerät weiter anvisiert wird und wenn dies der Fall ist, eine erneute Berechnung d) der Distanz zwischen Augen und Gerät durchgeführt werden. Mit dieser Abfrage f) und der erneuten Berechnung der Distanz zwischen Augen und Gerät (Schritt d)) und der erneuten Anpassung der Textgröße (Schritt e)) kann gewährleistet werden, dass eine automatische Anpassung der Textgröße bei Änderung der Position des Bedieners erfolgt. Wenn kein Gerät mehr anvisiert ist, wird das Verfahren in einem Schritt g) angehalten. In a next step e) follows an adaptation of the text size and possibly the size of displayed images or keys according to the distance (see. 16 ). A query can be made concurrently as to whether the device is being targeted further and if this is the case, a new calculation d) of the distance between the eyes and the device is carried out. With this query f) and the re-calculation of the distance between eyes and device (step d)) and the re-adjustment of the text size (step e)) can be ensured that an automatic adjustment of the text size when changing the position of the operator. If no device is targeted, the process is stopped in step g).

In 18 und 19 ist die Auslösung einer Funktion bzw. die Durchführung einer Bedienaktion, welche einem Tastendruck entspricht, gezeigt. In 18 and 19 is the triggering of a function or the execution of an operating action, which corresponds to a keystroke shown.

18 zeigt eine Seitenansicht. Auf einem Monitor 21, einer Glaswand 22 oder ein Hologramm 23 ist eine Taste bzw. Bedienelement 30 angezeigt. Durch den Finger 27 der Hand 2 kann nun eine Interaktion, d.h. eine Fingergeste, die einem Tastendruck entspricht, realisiert werden. Dies ist in 19 gezeigt, wo aus der Betrachterperspektive die Anzeige gezeigt ist, auf welcher das Bedienelement 30 dargestellt ist. Die Fingerspitze 28 des Fingers 27 ist mit dem Element 30 in Überlagerung gebracht, so dass anhand der Position des Fingers 27 oder der Position im Zusammenhang mit einer Bewegung des Fingers 27 erkannt werden kann, dass das Bedienelement 30 betätigt werden soll. Auf diese Weise kann eine Interaktion im Sinne beispielsweise einer Steueraktion durchgeführt werden. 18 shows a side view. On a monitor 21 , a glass wall 22 or a hologram 23 is a button or control element 30 displayed. By the finger 27 the hand 2 Now an interaction, ie a finger gesture that corresponds to a keystroke, can be realized. This is in 19 shown where from the viewer's perspective, the display is shown on which the control element 30 is shown. The fingertip 28 of the finger 27 is with the element 30 placed in overlay, so based on the position of the finger 27 or the position associated with a movement of the finger 27 It can be recognized that the operating element 30 should be pressed. In this way, an interaction in terms of, for example, a control action can be performed.

Die vorliegende Erfindung wurde anhand von einer Anwendung in der Medizintechnik beschrieben. Sie ist aber nicht auf diesen Fall beschränkt, sondern für alle Situationen anwendbar, bei denen eine bedienerfreundliche Fernbedienung in einem komplexen Umfeld mehrerer bedienter Komponenten wünschenswert ist. The present invention has been described with reference to an application in medical technology. However, it is not limited to this case but is applicable to all situations where user-friendly remote control is desirable in a complex environment of multiple serviced components.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2011/085813 A1 [0003]
DE 102013104429 A1 [0003]

Claims

Device for selecting a device ( 5 . 6 . 7 ) for the execution of an on the device ( 5 . 6 . 7 action, comprising - a detection device for detecting the viewing direction of a user, - an analysis device for checking whether by the user's gaze a device ( 5 . 6 . 7 ) and to determine a targeted device ( 5 . 6 . 7 ) for the execution of an on the device ( 5 . 6 . 7 ) related action.

Apparatus according to claim 1, characterized in that the action is an adaptation of a control system for the control of the targeted device ( 5 . 6 . 7 ).

Device according to one of the preceding claims, characterized in that the action determines the determination of the targeted device ( 5 . 6 . 7 ) as the device to be controlled by a control system ( 5 . 6 . 7 ).

Apparatus according to claim 2 or 3, characterized in that the control system is adapted for a plurality of devices ( 5 . 6 . 7 ) to be suitable.

Device according to one of claims 2 to 4, characterized in that the control system is based on gesture control.

Device according to one of the preceding claims, characterized in that the detection device also for the detection of gestures for a gesture control of the targeted device ( 5 . 6 . 7 ) is trained.

Device according to one of the preceding claims, characterized in that the device for a feedback on the selection of the device ( 5 . 6 . 7 ) is designed for the user.

Apparatus according to claim 7, characterized in that the device for a feedback by means of a display on the device ( 5 . 6 . 7 ) information on a display unit or by an optical or acoustic, spatially the device ( 5 . 6 . 7 ) is arranged assignable signal.

Device according to one of the preceding claims, characterized in that the action resizes the representation of at least one of the device ( 5 . 6 . 7 ) on a display.

Device according to one of the preceding claims, characterized in that the action in accordance with an Inbezugsetzung of at least one user-related position information with at least one on the targeted device ( 5 . 6 . 7 ) position information can be specified.

Device according to one of the preceding claims, characterized in that a criterion for the sighting of the device ( 5 . 6 . 7 ), which uses a threshold based on the deviation of the detected line of sight from the targeted device ( 5 . 6 . 7 ) and / or the duration of a look in one on the device ( 5 . 6 . 7 ) relates the viewing direction range.

Device according to one of the preceding claims, characterized in that the detection device with at least one camera ( 3 ) is formed.

Device according to one of the preceding claims, characterized in that it is in the device ( 5 . 6 . 7 ) is a medical therapy or diagnostic device.

Method for selecting a device for performing an action related to the device, comprising - detecting the viewing direction of a user, - checking whether by the user's gaze a device ( 5 . 6 . 7 ), and - specifying a targeted device ( 5 . 6 . 7 ) for the execution of an on the device ( 5 . 6 . 7 ) related action.

A method according to claim 14, characterized in that - an angle relative to the viewing direction of the user is calculated, and - one for the execution of one on the device ( 5 . 6 . 7 ) action is determined according to the angle.

A method according to claim 14 or 15, characterized in that - a distance between a position information related to the user and one on the device ( 5 . 6 . 7 calculated position information, and - one for the execution of one on the device ( 5 . 6 . 7 ) action is determined according to the distance.