[go: up one dir, main page]

WO2014166645A1 - Gestensteuerung mit automatisierter kalibrierung - Google Patents

Gestensteuerung mit automatisierter kalibrierung Download PDF

Info

Publication number
WO2014166645A1
WO2014166645A1 PCT/EP2014/050731 EP2014050731W WO2014166645A1 WO 2014166645 A1 WO2014166645 A1 WO 2014166645A1 EP 2014050731 W EP2014050731 W EP 2014050731W WO 2014166645 A1 WO2014166645 A1 WO 2014166645A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
relative
display device
arithmetic unit
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2014/050731
Other languages
English (en)
French (fr)
Inventor
Thomas Friese
Thomas Gossler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Priority to US14/781,997 priority Critical patent/US9880670B2/en
Priority to CN201480020630.3A priority patent/CN105103086B/zh
Publication of WO2014166645A1 publication Critical patent/WO2014166645A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a control method for a computing unit
  • Gesture of a user of the computing unit is determined
  • the action of the arithmetic unit for at least one of the gestures is additionally determined in dependence on a relative position of the image capture device relative to a display device.
  • the present invention further relates to a computer device
  • the computer device comprises an image capture device, a display device and a computing unit
  • the computing unit is connected to the image capture device and the display device for exchanging data
  • Gesture of a user of the computing unit is determined
  • the action is determined by the arithmetic unit for at least one of the gestures in addition in dependence on a relative position of the image capture device relative to the display device.
  • control methods and computer equipment are well known.
  • non-contact interaction is used in operating theaters where the surgeon wishes to view operation-related images of the patient during the operation.
  • the surgeon may not touch common computer device interaction devices (eg, a computer mouse, keyboard, or touch screen) for reasons of sterility.
  • common computer device interaction devices eg, a computer mouse, keyboard, or touch screen
  • it must be possible to control the display device In particular, it must be possible to control which image is displayed on the display device. In general, it must continue to be possible to operate on the display device shown buttons and the like.
  • gesture control In a gesture control usually a so-called depth image is determined, ie an image in which each point of a per se two-dimensional image is additionally associated with information about the third direction in three-dimensional space , The detection and evaluation of such depth images is known per se. Such depth images can be detected, for example, by means of two conventional cameras, which together provide a stereoscopic image.
  • the object of the present invention is to provide possibilities so that the relative position of the image capture device relative to the display device can also be changed during operation without negatively influencing the functionality of the gesture recognition. In particular, a time-consuming manual calibration should not be required.
  • the object is achieved by a control method for a computing unit having the features of claim 1.
  • Advantageous embodiments of the control method according to the invention are the subject of the dependent claims 2 to 6. ⁇
  • the relative position of the image capture device relative to the display device is determined.
  • the further image capture device is arranged stationary. This embodiment is particularly easy to implement.
  • the arithmetic unit preferably uses the at least one additional image to determine an absolute position of the image acquisition device relative to a stationary coordinate system and an absolute position of the display device relative to the stationary coordinate system. Based on the absolute positions of the image capture device and the display device, the computer unit then determines the relative position of the image capture device relative to the display device.
  • the image capture device and / or the display device are movable.
  • the image capture device and / or the display device can be attached to a ceiling by means of movable support arms-which if appropriate originate from a common support structure.
  • the time points at which the relative position of the image capture device relative to the display device is determined by the arithmetic unit can be determined as required.
  • the relative position of the image acquisition device relative to the display device by the arithmetic unit continuously, at fixed time intervals, triggered by a user command or triggered by a detected by a sensor change in a fixed coordinate system relative to the absolute position of the image acquisition device, a relative to the stationary coordinate system related absolute position of the display device or the relative position of the image capture device is determined relative to the display device.
  • the action determined and executed by the arithmetic unit can also be determined as required. Preferably, however, it is a control of the display device.
  • a computer device of the type mentioned in the introduction is designed
  • the computer device (in addition to the image capture device) comprises at least one further image capture device
  • FIG. 1 shows a perspective view of a room in which a computer device is arranged
  • FIG. 2 shows a block diagram of the computer device of FIG.
  • a computer device comprises an image capture device 1, at least one further image capture device 2, a display device 3 and a computing unit 4.
  • the image capture device 1, the at least one further image capture device 2 and the display device 3 are exchanged with the computing unit 4 connected by data.
  • a basic image B1 is detected by the image capture device 1 and transmitted to the arithmetic unit 4.
  • the additional image capture device 2 acquires an additional image B2 (or in each case an additional image B2 in the case of several further image capture devices 2 from each further image capture device 2) and transmits it to the arithmetic unit 4.
  • the images Bl, B2 detected by the image acquisition devices 1, 2 are evaluated by the arithmetic unit 4.
  • the arithmetic unit 4 can be designed, for example, as a conventional PC, as a workstation or similar arithmetic unit.
  • the display device 3 can be embodied as a conventional computer display, for example as an LCD display or as a TFT display.
  • the image capture device 1 has a relative position pR13 relative to the display device 3.
  • the relative position pR13 is related to a coordinate system that is fixed relative to the display device 3.
  • the relative position pR13 may comprise translational and / or rotational components.
  • the image capture device 1, the display device 3 and the arithmetic unit 4 work together as follows:
  • the image capture device 1 acquires the base image Bl and transmits it to the arithmetic unit 4.
  • the acquired basic image Bl shows (among others) a user 5 of the arithmetic unit 4.
  • the arithmetic unit 4 uses the base image Bl to determine a gesture G of the user 5 4 evaluate the basic image Bl as to whether the user 5 is raising one hand or both hands, whether the user is clapping one or two times in his hands, if the user is pointing with an arm and / or finger in a certain direction, and so on.
  • a determination of other or further gestures G is possible.
  • special markings can be arranged on the user.
  • the user 5 may wear special gloves. However, this is not mandatory.
  • the basic image B1 is a so-called depth image, that is to say the individual image elements of the depth image (spatially resolved) optionally in addition to its image data value - a depth value is assigned which is characteristic for a distance assigned to the respective image element from the image capture device 1.
  • the image capture device 1 may comprise a plurality of individual image sensors that detected the Capture scene from different perspectives. It is also possible, by means of a suitable light source, to project a stripe pattern (or another pattern) into the space detected by the image capture device 1 and to determine the respective distance based on distortions of the pattern in the base image Bl captured by the image capture device 1.
  • the arithmetic unit 4 determines an action A as a function of the detected gesture G and carries out the action A.
  • the arithmetic unit 4 is thus controlled by the gesture G and the associated action A. It is possible that the determined action A is independent of other parameters for some gestures G. For example, a two-time clapping in the hands of the user 5 can be interpreted in terms of an end command, due to which the further interaction of the image capture device 1 is terminated with the arithmetic unit 4. It is also possible for the action A to depend on other parameters which are related by means other than the base image Bl captured by the image capture device 1. For example, a combination of a gesture G with a voice command spoken by the user 4 can take place. Other approaches are possible.
  • the action A determined by the arithmetic unit 4 will also depend on the relative position pR13, in addition to the dependence on the gesture G as such. This is necessary in particular if the action A determined and executed by the arithmetic unit 4 is a control of the display device 3. However, it is also possible for the respectively determined action A to depend on the relative position pR13 if the determined and executed action A is an action other than the control of the display device 3. It is possible that the additional dependence of the action A on the relative position pR13 is given only for a single, very specific gesture G. Alternatively, it is possible that the dependence of the action A is also given by the relative position pR13 with several gestures G or even with all gestures G.
  • gestures G are explained whose associated action A can also depend on the relative position pR13.
  • the computing unit 4 if the user 5 points with one of his arms or with a finger in a certain direction, this can be interpreted by the computing unit 4 as a selection of a particular element which lies in the direction in which the user 5 points.
  • the particular element may in particular be an element which is shown on the display device 3.
  • the extent of the shift may additionally depend on how fast and / or how far this movement takes place.
  • the direction of scrolling may depend on the direction of movement of the arms or hands of the user 5.
  • Other actions A which depend on the relative position pR13, are possible. The above examples are, as mentioned, purely exemplary.
  • the arithmetic unit 4 must therefore be aware of the relative position pR13.
  • the at least one further image capture device 2 is present. In the following, it is assumed that only a single further image capture device 2 is present. However, several other image acquisition devices 2 could also be present, each of which captures an additional image B2.
  • the further image capture device 2 detects the additional image B2 at the latest when detecting the base image Bl. Preferably, the detection and the transmission take place before the acquisition of the basic image B1. However, it is also a simultaneous detection and transmission possible.
  • the further image capture device 2 transmits the additional image B2 to the arithmetic unit 4.
  • the arithmetic unit 4 evaluates the additional image B2. In particular, the arithmetic unit 4 determined the relative position pR13 of the image capture device 1 relative to the display device 3 on the basis of the additional image B2.
  • the further image capture device 2 (of course) must be arranged such that the additional image B2 contains the image capture device 1 and the display device 3.
  • the additional image B2 contains the image capture device 1 and the display device 3.
  • the further image acquisition device 2 is not rigidly mounted, but in turn is arranged on a translationally and / or rotationally movable holder.
  • the further image capture device 2 is preferably arranged in a stationary manner in accordance with the representation in FIG.
  • the additional image B2 is a so-called depth image.
  • the above Henden statements to the basic image Bl are therefore applicable in an analogous manner to the additional image B2.
  • the evaluation of the additional image B2 can be carried out by the arithmetic unit 4, for example as follows:
  • the arithmetic unit 4 determines an absolute position pAl of the image acquisition device 1 based on the additional image B2.
  • This absolute position pAl is based on a (relative to the space in which the image capture device 1 and the display device 3 are arranged) stationary coordinate system.
  • the stationary coordinate system can be defined, for example, in Cartesian coordinates x, y, z.
  • the arithmetic unit 4 uses the additional image B2 to determine an absolute position pA3 of the display device 3.
  • This absolute position pA3 is also related to the stationary coordinate system. Based on the two absolute positions pAl and pA3, the arithmetic unit 4 then determines the relative position pR13 of the image capture device 1 relative to the display device 3.
  • the image capture device 1 and the display device 3 - as well as the further image capture device 2 - are fixed devices.
  • the present invention shows its full strengths when the image capture device 1 and / or the display device 3 are movable.
  • only one or only the other of the two devices 1, 3 can be movable.
  • both devices 1, 3 can be movable.
  • the movements of the two devices 1, 3 may be coupled together or independent of each other. It is preferred that both devices 1, 3 are movable independently of each other.
  • a possible realization for an independent mobility of image capture device 1 and display device 3 will be explained in more detail below with reference to FIG. The corresponding versions are however pure exemplary. Other possibilities of mobility can also be realized.
  • a downwardly extending support structure 6 is fastened to a ceiling of the room.
  • the support structure 6 has a hinge 7 from which (at least) two support arms 8 depart.
  • the support arms 8 can be rigid.
  • the support arms 8 may in turn comprise a plurality of sub-elements 9, which are connected to each other via other joints 10.
  • Such suspensions are known and as such are not the subject of the present invention.
  • the user 5 can position the display device 3 by adjusting the associated support arm 8 at least in height and side.
  • the user 5 can position the image capture device 1 at least in height and side by corresponding adjustment of the associated support arm 8.
  • the two positions are preferably independent of one another.
  • the positions are coupled to one another.
  • the support arms 8 in the region of the joint 7 cooperate with each other, so that they can always be adjusted in the joint 7 only by the same angle, but in the opposite direction of rotation. If the relative position pR13 of the image capture device 1 changes relative to the display device 3, the relative position pR13 must be redetermined. Otherwise, there would be a risk of erroneous determination of the action A. In order to exclude this risk in order to always utilize the current and actual relative position pR13 in the arithmetic unit 4, various embodiments are possible.
  • the additional image B2 is detected by the further image capture device 2 at fixed time intervals and / or is evaluated by the arithmetic unit 4 at fixed time intervals.
  • a time interval of (purely by way of example) 15 seconds, 1 minute, 10 minutes, 1 hour, etc. is possible.
  • the time interval can be fixed. Alternatively, it can be specified to the arithmetic unit 4 by the user 5.
  • the additional image B2 is only detected by the further image capturing device 2 and / or evaluated by the arithmetic unit 4 only when the user 4 has given the computing unit 4 a corresponding user command.
  • the user 5 can specify a corresponding voice command or (preferably with a body part other than his hands, for example with an elbow or with a foot) actuate a switch or a button.
  • the additional image B2 may be detected by the further image capture device 2 when the computer device is switched on and / or to be evaluated by the computer 4 when the computer device is switched on.
  • the image capture device 1 and / or the display device 3 is associated with a sensor 11, 12, 13, by means of which a change ⁇ , ⁇ 3 of the absolute positions pAl, pA3 or a change
  • 5pR13 of the relative position pR13 is detected.
  • the detection of a change ⁇ , ⁇ 3 of one of the absolute positions pA1, pA3 or both absolute positions pA1, pA3 and / or the detection of a change 5PR13 of the relative position pR13 can trigger the detection and evaluation of the additional image B2.
  • the abovementioned possibilities at the times and / or events which trigger the determination of the relative position pR13 can be combined as required.
  • the additional image B2 is continuously detected by the further image capture device 2 and transmitted to the arithmetic unit 4.
  • the determination of the current relative position pR13 can likewise be carried out continuously on the part of the arithmetic unit 4.
  • the present invention is applicable in principle in any environment. Preferably, however, the present invention is applied in the medical field.
  • the space in which the image capture device 1, the further image capture device 2 and the display device 3 are arranged can be designed in particular as an operating theater. This is indicated in FIG 1 by the schematic representation of an operating table 14.
  • the determination of the relative position pR13 of the image capture device 1 relative to the display device 3 has been discussed in detail above.
  • a determination of an absolute position of the user 5 relative to the stationary coordinate system and / or the determination of a relative position of the user 5 relative to the image capture device 1 and / or a relative position of the user 5 relative to the display device 3 are made.
  • more extensive evaluations are possible, such as the determination of its size.
  • the present invention has many advantages. In particular, it is possible in a simple and reliable manner to carry out a calibration of the gesture control at any time as required, that is to say the determination of the relative position pR 13 of the image capture device 1 relative to the display device 3.
  • a calibration of the gesture control at any time as required, that is to say the determination of the relative position pR 13 of the image capture device 1 relative to the display device 3.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Von einer Bilderfassungseinrichtung (1) wird ein Basisbild (B1) erfasst und an eine Recheneinheit (4) übermittelt. Von der Recheneinheit (4) wird anhand des Basisbildes (B1) eine Geste (G) eines Benutzers (5) der Recheneinheit (4) ermittelt. Von der Recheneinheit (4) wird in Abhängigkeit von der ermittelten Geste (G) eine Aktion (A) ermittelt und ausgeführt. Die Aktion (A) wird von der Recheneinheit (4) für mindestens eine der Gesten (G) zusätzlich in Abhängigkeit von einer Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zu einer Anzeigeeinrichtung (3) ermittelt. Spätestens beim Erfassen des Basisbildes (B1) wird von mindestens einer weiteren Bilderfassungseinrichtung (2) ein Zusatzbild (B2) erfasst und an die Recheneinheit (4) übermittelt. Von der Recheneinheit (4) wird anhand des Zusatzbildes (B2) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt.

Description

Beschreibung
Gestensteuerung mit automatisierter Kalibrierung Die vorliegende Erfindung betrifft ein Steuerverfahren für eine Recheneinheit,
- wobei von einer Bilderfassungseinrichtung ein Basisbild er- fasst wird und an die Recheneinheit übermittelt wird,
- wobei von der Recheneinheit anhand des Basisbildes eine
Geste eines Benutzers der Recheneinheit ermittelt wird,
- wobei von der Recheneinheit in Abhängigkeit von der ermittelten Geste eine Aktion ermittelt und die Aktion ausgeführt wird,
- wobei die Aktion von der Recheneinheit für mindestens eine der Gesten zusätzlich in Abhängigkeit von einer Relativlage der Bilderfassungseinrichtung relativ zu einer Anzeigeeinrichtung ermittelt wird.
Die vorliegende Erfindung betrifft weiterhin eine Computer- einrichtung,
- wobei die Computereinrichtung eine Bilderfassungseinrichtung, eine Anzeigeeinrichtung und eine Recheneinheit um- fasst ,
- wobei die Recheneinheit mit der Bilderfassungseinrichtung und der Anzeigeeinrichtung zum Austausch von Daten verbunden ist,
- wobei von der Bilderfassungseinrichtung ein Basisbild er- fasst wird und an die Recheneinheit übermittelt wird,
- wobei von der Recheneinheit anhand des Basisbildes eine
Geste eines Benutzers der Recheneinheit ermittelt wird,
- wobei von der Recheneinheit in Abhängigkeit von der ermittelten Geste eine Aktion ermittelt und die Aktion ausgeführt wird,
- wobei die Aktion von der Recheneinheit für mindestens eine der Gesten zusätzlich in Abhängigkeit von einer Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird. Derartige Steuerverfahren und derartige Computereinrichtungen sind allgemein bekannt. Es wird rein beispielhaft auf die WO 2011/085815 AI, die US 2010/013764 AI, die US 2011/029913 AI, die US 2011/090147 AI und die US 7 834 847 B2 verwiesen.
Die berührungslose Interaktion mit Computereinrichtungen ist ein deutlicher Trend im Rahmen von sogenannten natürlichen Eingabemethoden (NUI = Natural User Input) . Dies gilt sowohl in der Informationsverarbeitung allgemeinen als auch insbe- sondere im medizinischen Bereich. So findet die berührungslose Interaktion beispielsweise Verwendung in Operationssälen, in denen der operierende Arzt während der Operation operati- onsbezogene Bilder des Patienten betrachten möchte. In diesem Fall darf der operierende Arzt übliche Interaktionseinrich- tungen der Computereinrichtung (beispielsweise eine Computermaus, eine Tastatur oder einen Touchscreen) aus Gründen der Sterilität nicht berühren. Dennoch muss es möglich sein, die Anzeigeeinrichtung zu steuern. Insbesondere muss es möglich sein, zu steuern, welches Bild auf der Anzeigeeinrichtung dargestellt wird. In der Regel muss es weiterhin möglich sein, auf der Anzeigeeinrichtung dargestellte Schaltflächen und dergleichen zu bedienen.
Es ist bekannt, dass eine andere Person als der operierende Arzt die üblichen Interaktionseinrichtungen aufgrund entsprechender Anweisungen durch den Arzt bedient. Dies ist umständlich, kostet wertvolle Zeit und führt oft zu Kommunikations- problemen zwischen dem operierenden Arzt und der anderen Person. Die obenstehend erläuterte, bekannte Gestensteuerung stellt hier einen wertvollen Vorteil dar. Bei einer Gestensteuerung wird in der Regel ein sogenanntes Tiefenbild ermittelt, d.h. ein Bild, bei dem jedem Punkt eines an sich zweidimensionalen Bildes zusätzlich eine Information über die dritte Richtung im dreidimensionalen Raum zugeordnet ist. Die Erfassung und Auswertung derartiger Tiefenbilder ist an sich bekannt. Derartige Tiefenbilder können beispielsweise mittels zweier üblicher Kameras erfasst werden, die zusammen ein stereoskopisches Bild liefern. Alternativ ist es möglich, ein sinusförmig moduliertes Muster in den Raum zu projizieren und anhand von Verzerrungen des sinusförmig modulierten Musters die Tiefeninformation zu ermitteln. Für ein ordnungsgemäßes Arbeiten der Gestenerkennung ist es in vielen Fällen erforderlich, dass die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung bekannt ist. Im Stand der Technik müssen die Absolutlagen der Bilderfassungseinrichtung und der Anzeigeeinrichtung daher vorab eingestellt werden. Danach erfolgt ein Kalibrierungsvorgang, in dem die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird. Nach der Kalibrierung darf die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung nicht mehr verändert werden. Insbeson- dere eine Veränderung der Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung im laufenden Betrieb ist nicht möglich.
Das Erfordernis, dass die Relativlage der Bilderfassungsein- richtung relativ zur Anzeigeeinrichtung nach der Kalibrierung nicht mehr verändert werden darf, stellt in der Praxis eine deutliche Beschränkung dar. Es ist vielmehr wünschenswert, Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung jederzeit - auch im laufenden Betrieb - ändern zu können.
Die Aufgabe der vorliegenden Erfindung besteht darin, Möglichkeiten zu schaffen, so dass die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung auch im laufenden Betrieb verändert werden kann, ohne die Funktionsfähigkeit der Gestenerkennung negativ zu beeinflussen. Insbesondere soll eine zeitaufwändige manuelle Kalibrierung nicht erforderlich sein. Die Aufgabe wird durch ein Steuerverfahren für eine Recheneinheit mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Steuerverfahrens sind Gegenstand der abhängigen Ansprüche 2 bis 6. Λ
Erfindungsgemäß wird ein Steuerverfahren der eingangs genannten Art dadurch ausgestaltet,
- dass spätestens beim Erfassen des Basisbildes von mindes- tens einer weiteren Bilderfassungseinrichtung ein Zusatz- bild erfasst wird und an die Recheneinheit übermittelt wird und
- dass von der Recheneinheit anhand des Zusatzbildes die Relativlage der Bilderfassungseinrichtung relativ zur Anzei- geeinrichtung ermittelt wird.
Dadurch wird es ermöglicht, innerhalb der Recheneinheit die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung im laufenden Betrieb stets aktuell zu halten.
In einer bevorzugten Ausgestaltung des Steuerverfahrens ist die weitere Bilderfassungseinrichtung ortsfest angeordnet. Diese Ausgestaltung ist insbesondere leicht realisierbar. Im Falle einer ortsfesten Anordnung der weiteren Bilderfassungseinrichtung werden vorzugsweise von der Recheneinheit anhand des mindestens einen Zusatzbildes eine auf ein ortsfestes Koordinatensystem bezogene Absolutlage der Bilderfassungseinrichtung und eine auf das ortsfeste Koordinatensystem bezogene Absolutlage der Anzeigeeinrichtung ermittelt. Anhand der Absolutlagen der Bilderfassungseinrichtung und der Anzeigeeinrichtung wird von der Recheneinheit sodann die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt.
In einer weiter bevorzugten Ausgestaltung des Steuerverfahrens sind die Bilderfassungseinrichtung und/oder die Anzeigeeinrichtung bewegbar. Beispielsweise können die Bilderfassungseinrichtung und/oder die Anzeigeeinrichtung über beweg- liehe Tragarme - die gegebenenfalls von einer gemeinsamen Tragstruktur ausgehen - an einer Decke befestigt sein. Die Zeitpunkte, zu denen die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung von der Recheneinheit ermittelt wird, können nach Bedarf bestimmt sein. Beispielsweise ist es möglich, dass die Relativlage der Bilder- fassungseinrichtung relativ zur Anzeigeeinrichtung von der Recheneinheit kontinuierlich, in festen zeitlichen Abständen, ausgelöst durch einen Benutzerbefehl oder ausgelöst durch eine von einer Sensorik erkannte Veränderung einer auf ein ortsfestes Koordinatensystem bezogenen Absolutlage der Bild- erfassungseinrichtung, einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage der Anzeigeeinrichtung oder der Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird. Auch die von der Recheneinheit ermittelte und ausgeführte Aktion kann nach Bedarf bestimmt sein. Vorzugsweise handelt es sich jedoch um eine Steuerung der Anzeigeeinrichtung.
Die Aufgabe wird weiterhin durch eine Computereinrichtung mit den Merkmalen des Anspruchs 7 gelöst. Vorteilhafte Ausgestaltungen der erfindungsgemäßen Computereinrichtung sind Gegenstand der abhängigen Ansprüche 8 bis 12.
Erfindungsgemäß wird eine Computereinrichtung der eingangs genannten Art dadurch ausgestaltet,
- dass die Computereinrichtung (zusätzlich zur Bilderfassungseinrichtung) mindestens eine weitere Bilderfassungseinrichtung umfasst,
- dass die Recheneinheit zum Austausch von Daten auch mit der mindestens einen weiteren Bilderfassungseinrichtung verbunden ist,
- dass spätestens beim Erfassen des Basisbildes von der weiteren Bilderfassungseinrichtung mindestens ein Zusatzbild erfasst wird und an die Recheneinheit übermittelt wird und - dass von der Recheneinheit anhand des mindestens einen Zu- satzbildes die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird. Die vorteilhaften Ausgestaltungen der Computereinrichtung korrespondieren mit denen des Steuerverfahrens.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die in Verbindung mit den Zeichnungen näher erläutert werden. Hierbei zeigen in schematischer Darstellung:
FIG 1 eine perspektivische Darstellung eines Raumes, in dem eine Computereinrichtung angeordnet ist, und
FIG 2 ein Blockschaltbild der Computereinrichtung von FIG
1.
Gemäß den FIG 1 und 2 umfasst eine Computereinrichtung eine Bilderfassungseinrichtung 1, mindestens eine weitere Bilderfassungseinrichtung 2, eine Anzeigeeinrichtung 3 und eine Recheneinheit 4. Die Bilderfassungseinrichtung 1, die mindes- tens eine weitere Bilderfassungseinrichtung 2 und die Anzeigeeinrichtung 3 sind mit der Recheneinheit 4 zum Austausch von Daten verbunden. Insbesondere wird von der Bilderfassungseinrichtung 1 ein Basisbild Bl erfasst und an die Recheneinheit 4 übermittelt. In analoger Weise wird von der weiteren Bilderfassungseinrichtung 2 ein Zusatzbild B2 (bzw. im Falle mehrerer weiterer Bilderfassungseinrichtungen 2 von jeder weiteren Bilderfassungseinrichtungen 2 jeweils ein Zusatzbild B2) erfasst und an die Recheneinheit 4 übermittelt. Die von den Bilderfassungseinrichtungen 1, 2 erfassten Bilder Bl, B2 werden von der Recheneinheit 4 ausgewertet. Je nach Ergebnis der Auswertung kann von der Recheneinheit 4 beispielsweise die Anzeigeeinrichtung 3 angesteuert werden.
Die Recheneinheit 4 kann beispielsweise als üblicher PC, als Workstation oder ähnliche Recheneinheit ausgebildet sein. Die Anzeigeeinrichtung 3 kann als übliches Computerdisplay ausgebildet sein, beispielsweise als LCD-Display oder als TFT-Dis- play. Die Bilderfassungseinrichtung 1 weist relativ zur Anzeigeeinrichtung 3 eine Relativlage pR13 auf. Die Relativlage pR13 ist auf ein Koordinatensystem bezogen, das relativ zur Anzei- geeinrichtung 3 fixiert ist. Die Relativlage pR13 kann translatorische und/oder rotatorische Komponenten umfassen.
Die Bilderfassungseinrichtung 1, die Anzeigeeinrichtung 3 und die Recheneinheit 4 wirken wie folgt zusammen:
Die Bilderfassungseinrichtung 1 erfasst das Basisbild Bl und übermittelt es an die Recheneinheit 4. Das erfasste Basisbild Bl zeigt (unter anderem) einen Benutzer 5 der Recheneinheit 4. Die Recheneinheit 4 ermittelt anhand des Basisbildes Bl eine Geste G des Benutzers 5. Beispielsweise kann die Recheneinheit 4 das Basisbild Bl dahingehend auswerten, ob der Benutzer 5 eine Hand oder beide Hände hebt, ob der Benutzer ein- oder zweimal in die Hände klatscht, ob der Benutzer mit einem Arm und/oder einem Finger in eine bestimmte Richtung deutet und dergleichen mehr. Selbstverständlich ist auch eine Ermittlung anderer oder weiterer Gesten G möglich. Zur deutlichen Erkennung der Geste G können am Benutzer 5 spezielle Markierungen angeordnet sein. Beispielsweise kann der Benutzer 5 spezielle Handschuhe tragen. Dies ist jedoch nicht zwingend erforderlich.
Für eine zuverlässige Auswertung des Basisbildes Bl durch die Recheneinheit 4 - d.h. für eine zuverlässige Erkennung der jeweiligen Geste G - ist es von Vorteil, wenn das Basisbild Bl ein sogenanntes Tiefenbild ist, das heißt dass den (zweidimensional ortsaufgelöst) angeordneten einzelnen Bildelementen des Tiefenbildes - gegebenenfalls zusätzlich zu ihrem Bilddatenwert - ein Tiefenwert zugeordnet ist, der charakteristisch für einen dem jeweiligen Bildelement zugeordneten Abstand von der Bilderfassungseinrichtung 1 ist. Die Erfassung derartiger Tiefenbilder ist Fachleuten als solche bekannt. Beispielsweise kann die Bilderfassungseinrichtung 1 mehrere einzelne Bildsensoren umfassen, welche die erfasste Szene aus verschiedenen Blickrichtungen erfassen. Auch ist es möglich, mittels einer geeigneten Leuchtquelle ein Streifenmuster (oder ein anderes Muster) in den von der Bilderfassungseinrichtung 1 erfassten Raum zu projizieren und anhand von Verzerrungen des Musters in dem von der Bilderfassungseinrichtung 1 erfassten Basisbild Bl den jeweiligen Abstand zu ermitteln.
Sofern die Recheneinheit 4 eine Geste G erkannt hat, ermit- telt die Recheneinheit 4 in Abhängigkeit von der ermittelten Geste G eine Aktion A und führt die Aktion A aus. Die Recheneinheit 4 wird somit durch die Geste G und die zugehörige Aktion A gesteuert. Es ist möglich, dass die ermittelte Aktion A für einige Gesten G unabhängig von anderen Parametern ist. Beispielsweise kann ein zweimaliges in die Hände klatschen des Benutzers 5 im Sinne eines Ende-Befehls interpretiert werden, aufgrund dessen die weitere Interaktion der Bilderfassungseinrichtung 1 mit der Recheneinheit 4 beendet wird. Auch ist es möglich, dass die Aktion A von anderen Parametern abhängt, die mit anderen Mitteln als dem von der Bilderfassungseinrichtung 1 erfassten Basisbild Bl zusammenhängen. Beispielsweise kann eine Verknüpfung einer Geste G mit einem vom Benutzer 4 gesproche- nen Sprachbefehl erfolgen. Auch andere Vorgehensweisen sind möglich .
In vielen Fällen wird die von der Recheneinheit 4 ermittelte Aktion A jedoch - zusätzlich zur Abhängigkeit von der Geste G als solcher - auch von der Relativlage pR13 abhängen. Dies ist insbesondere dann erforderlich, wenn die von der Recheneinheit 4 ermittelte und ausgeführte Aktion A eine Steuerung der Anzeigeeinrichtung 3 ist. Es ist jedoch auch möglich, dass die jeweils ermittelte Aktion A von der Relativlage pR13 abhängt, wenn die ermittelte und ausgeführte Aktion A eine andere Aktion als die Steuerung der Anzeigeeinrichtung 3 ist. Es ist möglich, dass die zusätzliche Abhängigkeit der Aktion A auch von der Relativlage pR13 nur bei einer einzelnen, ganz bestimmten Geste G gegeben ist. Alternativ ist es möglich, dass die Abhängigkeit der Aktion A auch von der Relativlage pR13 bei mehreren Gesten G oder sogar bei allen Gesten G gegeben ist. Nachfolgend werden - rein beispielhaft - einige mögliche Gesten G erläutert, deren zugehörige Aktion A auch von der Relativlage pR13 abhängen kann. Beispielsweise kann, wenn der Benutzer 5 mit einem seiner Arme oder mit einem Finger in eine bestimmte Richtung deutet, dies von der Recheneinheit 4 als Selektion eines bestimmten Elements interpretiert werden, das in der Richtung liegt, in welche der Benutzer 5 zeigt. Das bestimmte Element kann ins- besondere ein Element sein, das auf der Anzeigeeinrichtung 3 dargestellt ist. Alternativ oder zusätzlich ist es beispielsweise möglich, dass ein Ausschnitt eines über die Anzeigeeinrichtung 3 dargestellten Bildes B (dieses Bild B hat nichts mit dem Basisbild Bl und auch nichts mit dem Zusatzbild B2 zu tun) verschoben wird, wobei zumindest die Richtung der Verschiebung davon abhängt, in welche Richtung der Benutzer 5 einen seiner Arme oder eine seiner Hände bewegt. Eventuell kann zusätzlich das Ausmaß der Verschiebung davon abhängen, wie schnell und/oder wie weit diese Bewegung erfolgt. Auch kann beispielsweise - ähnlich dem Blättern in einem Buch - in einer Sequenz von Bildern B (auch diese Bilder B haben nichts mit dem Basisbild Bl und auch nichts mit dem Zusatzbild B2 zu tun) ein in der Sequenz vorhergehendes oder nachfolgendes Bild B selektiert und über die Anzeigeeinrichtung 3 darge- stellt werden. In diesem Fall kann beispielsweise die Richtung des Blättern von der Bewegungsrichtung der Arme oder Hände des Benutzers 5 abhängen. Auch andere Aktionen A, die von der Relativlage pR13 abhängen, sind möglich. Die obigen Beispiele sind, wie erwähnt, rein beispielhaft.
In derartigen Fällen, wenn also die ermittelte und ausgeführte Aktion A von der Relativlage pR13 abhängt, muss der Recheneinheit 4 die Relativlage pR13 somit bekannt sein. Zu diesem Zweck ist die mindestens eine weitere Bilderfassungseinrichtung 2 vorhanden. Nachfolgend wird vorausgesetzt, dass nur eine einzige weitere Bilderfassungseinrichtung 2 vorhanden ist. Es könnten jedoch ebenso auch mehrere weitere Bild- erfassungseinrichtungen 2 vorhanden sein, die jeweils ein Zusatzbild B2 erfassen.
Die weitere Bilderfassungseinrichtung 2 erfasst das Zusatzbild B2 spätestens beim Erfassen des Basisbildes Bl . Vorzugs- weise erfolgen die Erfassung und die Übermittlung vor dem Erfassen des Basisbildes Bl . Es ist jedoch auch eine simultane Erfassung und Übermittlung möglich. Die weitere Bilderfassungseinrichtung 2 übermittelt das Zusatzbild B2 an die Recheneinheit 4. Die Recheneinheit 4 wertet das Zusatzbild B2 aus. Insbesondere ermittelte die Recheneinheit 4 anhand des Zusatzbildes B2 die Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3.
Für eine zuverlässige Auswertung des Zusatzbildes B2 durch die Recheneinheit 4 - d.h. für eine zuverlässige Ermittlung der Relativlage pR13 - muss die weitere Bilderfassungseinrichtung 2 (selbstverständlich) derart angeordnet sein, dass das Zusatzbild B2 die Bilderfassungseinrichtung 1 und die Anzeigeeinrichtung 3 enthält. Für eine besonders zuverlässige Auswertung des Zusatzbildes B2 kann es unter Umständen sinnvoll sein, an der Bilderfassungseinrichtung 1 und/oder an der Anzeigeeinrichtung 3 spezielle Markierungen anzuordnen.
In manchen Fällen kann es ausreichen, wenn die weitere Bild- erfassungseinrichtung 2 nicht starr montiert ist, sondern ihrerseits auf einem translatorisch und/oder rotatorisch bewegbaren Halter angeordnet ist. Vorzugsweise ist die weitere Bilderfassungseinrichtung 2 jedoch entsprechend der Darstellung in FIG 1 ortsfest angeordnet.
Für eine zuverlässige Auswertung des Zusatzbildes B2 durch die Recheneinheit 4 ist es weiterhin von Vorteil, wenn das Zusatzbild B2 ein sogenanntes Tiefenbild ist. Die oben ste- henden Ausführungen zum Basisbild Bl sind daher in analoger Weise auch auf das Zusatzbild B2 anwendbar.
Insbesondere in dem Fall, dass die weitere Bilderfassungsein- richtung 2 ortsfest angeordnet ist, kann die Auswertung des Zusatzbildes B2 von der Recheneinheit 4 beispielsweise wie folgt vorgenommen werden: Die Recheneinheit 4 ermittelt anhand des Zusatzbildes B2 eine Absolutlage pAl der Bilderfassungseinrichtung 1. Diese Absolutlage pAl ist auf ein (bezüg- lieh des Raumes, in dem die Bilderfassungseinrichtung 1 und die Anzeigeeinrichtung 3 angeordnet sind) ortsfestes Koordinatensystem bezogen. Das ortsfeste Koordinatensystem kann beispielsweise in kartesischen Koordinaten x, y, z definiert sein. In analoger Weise wird von der Recheneinheit 4 anhand des Zusatzbildes B2 eine Absolutlage pA3 der Anzeigeeinrichtung 3 ermittelt. Auch diese Absolutlage pA3 ist auf das ortsfeste Koordinatensystem bezogen. Anhand der beiden Absolutlagen pAl und pA3 ermittelt die Recheneinheit 4 sodann die Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3.
Es ist prinzipiell möglich, dass die Bilderfassungseinrichtung 1 und die Anzeigeeinrichtung 3 - ebenso wie die weitere Bilderfassungseinrichtung 2 - ortsfeste Einrichtungen sind. Ihre vollen Stärken zeigt die vorliegende Erfindung jedoch, wenn die Bilderfassungseinrichtung 1 und/oder die Anzeigeeinrichtung 3 bewegbar sind. Hierbei kann - je nach Gestaltung - nur die eine oder nur die andere der beiden Einrichtungen 1, 3 bewegbar sein. Ebenso können - je nach Gestaltung - beide Einrichtungen 1, 3 bewegbar sein. Je nach Gestaltung können die Bewegungen der beiden Einrichtungen 1, 3 miteinander gekoppelt oder unabhängig voneinander sein. Bevorzugt ist, dass beide Einrichtungen 1, 3 unabhängig voneinander bewegbar sind. Eine mögliche Realisierung für eine unabhängige Beweg- barkeit von Bilderfassungseinrichtung 1 und Anzeigeeinrichtung 3 wird nachfolgend unter Bezugnahme auf FIG 1 näher erläutert. Die entsprechenden Ausführungen sind jedoch rein beispielhaft. Es können auch andere Möglichkeiten der Bewegbarkeit realisiert sein.
Gemäß FIG 1 ist an einer Decke des Raumes eine nach unten ra- gende Tragstruktur 6 befestigt. Die Tragstruktur 6 weist ein Gelenk 7 auf, von dem (mindestens) zwei Tragarme 8 abgehen. Die Tragarme 8 können starr sein. Alternativ können die Tragarme 8 ihrerseits mehrere Teilelemente 9 aufweisen, die über weitere Gelenke 10 miteinander verbunden sind. Derartige Auf- hängungen sind bekannt und als solche nicht Gegenstand der vorliegenden Erfindung.
In der obenstehend in Verbindung mit FIG 1 erläuterten Gestaltung kann der Benutzer 5 die Anzeigeeinrichtung 3 durch entsprechendes Verstellen des zugehörigen Tragarms 8 zumindest in Höhe und Seite positionieren. In analoger Weise kann der Benutzer 5 durch entsprechendes Verstellen des zugehörigen Tragarms 8 die Bilderfassungseinrichtung 1 zumindest in Höhe und Seite positionieren. Unter Umständen können auch Po- sitionierungen in der Tiefenrichtung und/oder rotatorische
Bewegungen möglich sein Die beiden Positionierungen sind vorzugsweise unabhängig voneinander realisierbar.
Alternativ ist es möglich, dass die Positionierungen mitein- ander gekoppelt sind. Beispielsweise können die Tragarme 8 im Bereich des Gelenkes 7 miteinander zusammenwirken, so dass sie im Gelenk 7 stets nur um gleiche Winkel, aber in entgegengesetzter Drehrichtung verstellt werden können. Wenn sich die Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3 ändert, muss die Relativlage pR13 neu ermittelt werden. Anderenfalls bestünde die Gefahr einer fehlerhaften Ermittlung der Aktion A. Um diese Gefahr auszuschließen, um in der Recheneinheit 4 also stets die aktuelle und tatsächliche Relativlage pR13 zu verwerten, sind verschiedene Ausgestaltungen möglich. Beispielsweise ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 in festen zeitlichen Abständen erfasst wird und/oder von der Recheneinheit 4 in festen zeitlichen Abständen ausgewertet wird. Beispielsweise ist eine Auswertung in einem zeitlichen Abstand von (rein beispielhaft) 15 Sekunden, 1 Minute, 10 Minuten, 1 Stunde usw. möglich. Der zeitliche Abstand kann fest vorgegeben sein. Alternativ kann er der Recheneinheit 4 vom Benutzer 5 vorgegeben werden.
Alternativ ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 nur dann erfasst wird und/oder von der Recheneinheit 4 nur dann ausgewertet wird, wenn der Recheneinheit 4 vom Benutzer 5 ein entsprechender Benutzerbefehl vorgegeben wird. Beispielsweise kann der Benutzer 5 einen entsprechenden Sprachbefehl vorgegeben oder (vorzugsweise mit einem anderen Körperteil als seinen Händen, beispielsweise mit einem Ellenbogen oder mit einem Fuß) einen Schalter oder Taster betätigen.
Wiederum alternativ ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 beim Einschalten der Computereinrichtung erfasst wird und/oder von der Recheneinheit 4 beim Einschalten der Computereinrichtung ausgewer- tet wird.
Wiederum alternativ ist es möglich, dass der Bilderfassungseinrichtung 1 und/oder der Anzeigeeinrichtung 3 eine Sensorik 11, 12, 13 zugeordnet ist, mittels derer eine Veränderung δρΑΙ, δρΑ3 der Absolutlagen pAl , pA3 oder eine Veränderung
5pR13 der Relativlage pR13 erkannt wird. In diesem Fall können beispielsweise das Erkennen einer Veränderung δρΑΙ , δρΑ3 einer der Absolutlagen pAl, pA3 oder beider Absolutlagen pAl, pA3 und/oder das Erkennen einer Veränderung 5pR13 der Rela- tivlage pR13 das Erfassen und Auswerten des Zusatzbildes B2 auslösen . Die oben genannten Möglichkeiten zu den Zeitpunkten und/oder Ereignissen, welche die Ermittlung der Relativlage pR13 auslösen, können nach Bedarf miteinander kombiniert werden. Alternativ ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 kontinuierlich erfasst und an die Recheneinheit 4 übermittelt wird. In diesem Fall kann auf Seiten der Recheneinheit 4 ebenso kontinuierlich die Ermittlung der aktuellen Relativlage pR13 erfolgen.
Die vorliegende Erfindung ist prinzipiell in einem beliebigen Umfeld anwendbar. Vorzugsweise wird die vorliegende Erfindung jedoch im medizinischen Bereich angewendet. In diesem Fall kann der Raum, in dem die Bilderfassungseinrichtung 1, die weitere Bilderfassungseinrichtung 2 und die Anzeigeeinrichtung 3 angeordnet sind, insbesondere als Operationssaal ausgebildet sein. Dies ist in FIG 1 durch die schematische Darstellung eines OP-Tisches 14 angedeutet. Im Rahmen der vorliegenden Erfindung wurde obenstehend detailliert auf die Ermittlung der Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3 eingegangen. Soweit erforderlich, kann zusätzlich zur Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeein- richtung 3 eine Ermittlung einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage des Benutzers 5 und/oder die Ermittlung einer Relativlage des Benutzers 5 relativ zur Bilderfassungseinrichtung 1 und/oder einer Relativlage des Benutzers 5 relativ zur Anzeigeeinrichtung 3 vorgenommen wer- den. In Bezug auf den Benutzer 5 sind auch weitergehende Auswertungen möglich, wie beispielsweise die Ermittlung von dessen Größe .
Die vorliegende Erfindung weist viele Vorteile auf. Insbeson- dere ist es auf einfache und zuverlässige Weise möglich, jederzeit nach Bedarf eine Kalibrierung der Gestensteuerung vorzunehmen, also die Ermittlung der Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3. Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so is die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .

Claims

Patentansprüche
1. Steuerverfahren für eine Recheneinheit (4),
- wobei von einer Bilderfassungseinrichtung (1) ein Basisbild (Bl) erfasst wird und an die Recheneinheit (4) übermittelt wird,
- wobei von der Recheneinheit (4) anhand des Basisbildes (Bl) eine Geste (G) eines Benutzers (5) der Recheneinheit (4) ermittelt wird,
- wobei von der Recheneinheit (4) in Abhängigkeit von der ermittelten Geste (G) eine Aktion (A) ermittelt und die Aktion (A) ausgeführt wird,
- wobei die Aktion (A) von der Recheneinheit (4) für mindestens eine der Gesten (G) zusätzlich in Abhängigkeit von ei- ner Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zu einer Anzeigeeinrichtung (3) ermittelt wird,
- wobei spätestens beim Erfassen des Basisbildes (Bl) von mindestens einer weiteren Bilderfassungseinrichtung (2) ein Zusatzbild (B2) erfasst wird und an die Recheneinheit (4) übermittelt wird und
- wobei von der Recheneinheit (4) anhand des mindestens einen Zusatzbildes (B2) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
2. Steuerverfahren nach Anspruch 1,
d a d u r c h g e k e n n z e i c h n e t ,
dass die weitere Bilderfassungseinrichtung (2) ortsfest angeordnet ist.
3. Steuerverfahren nach Anspruch 2,
d a d u r c h g e k e n n z e i c h n e t ,
dass von der Recheneinheit (4) anhand des mindestens einen Zusatzbildes (B2) eine auf ein ortsfestes Koordinatensystem bezogene Absolutlage (pAl) der Bilderfassungseinrichtung (1) und eine auf das ortsfeste Koordinatensystem bezogene Absolutlage (pA3) der Anzeigeeinrichtung (3) ermittelt werden und anhand der Absolutlagen (pAl, pA3) der Bilderfassungseinrich- tung (1) und der Anzeigeeinrichtung (3) die Relativlage
(pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
4. Steuerverfahren nach Anspruch 1, 2 oder 3,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Bilderfassungseinrichtung (1) und/oder die Anzeigeeinrichtung (3) bewegbar sind.
5. Steuerverfahren nach einem der obigen Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) von der Recheneinheit (4) kontinuierlich, in festen zeitlichen Abständen, ausgelöst durch einen Benutzerbefehl oder ausgelöst durch eine von einer Sensorik (11 bis 13) erkannte Veränderung (δρΑΙ, δρΑ3 , 5pR13) einer auf ein ortsfestes Koordinatensystem bezogenen Absolutlage (pAl) der Bilderfassungseinrichtung (1) , einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage (pA3) der Anzeigeeinrichtung (3) oder der Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
6. Steuerverfahren nach einem der obigen Ansprüche,
d a d u r c h g e k e n n z e i c h n e t ,
dass die von der Recheneinheit (4) ermittelte und ausgeführte Aktion (A) eine Steuerung der Anzeigeeinrichtung (3) ist.
7. Computereinrichtung,
- wobei die Computereinrichtung eine Bilderfassungseinrichtung (1) , mindestens eine weitere Bilderfassungseinrichtung (2), eine Anzeigeeinrichtung (3) und eine Recheneinheit (4) umfasst ,
- wobei die Recheneinheit (4) mit der Bilderfassungseinrich- tung (1) , der mindestens einen weiteren Bilderfassungseinrichtung (2) und der Anzeigeeinrichtung (3) zum Austausch von Daten verbunden ist, - wobei von der Bilderfassungseinrichtung (1) ein Basisbild (Bl) erfasst wird und an die Recheneinheit (4) übermittelt wird,
- wobei von der Recheneinheit (4) anhand des Basisbildes (Bl) eine Geste (G) eines Benutzers (5) der Recheneinheit (4) ermittelt wird,
- wobei von der Recheneinheit (4) in Abhängigkeit von der ermittelten Geste (G) eine Aktion (A) ermittelt und die Aktion (A) ausgeführt wird,
- wobei die Aktion (A) von der Recheneinheit (4) für mindestens eine der Gesten (G) zusätzlich in Abhängigkeit von einer Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird,
- wobei spätestens beim Erfassen des Basisbildes (Bl) von der mindestens einen weiteren Bilderfassungseinrichtung (2) ein
Zusatzbild (B2) erfasst wird und an die Recheneinheit (4) übermittelt wird,
- wobei von der Recheneinheit (4) anhand des Zusatzbildes
(B2) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
8. Computereinrichtung nach Anspruch 7,
d a d u r c h g e k e n n z e i c h n e t ,
dass die weitere Bilderfassungseinrichtung (2) ortsfest ange- ordnet ist.
9. Computereinrichtung nach Anspruch 8,
d a d u r c h g e k e n n z e i c h n e t ,
dass von der Recheneinheit (4) anhand des mindestens einen Zusatzbildes (B2) eine auf ein ortsfestes Koordinatensystem bezogene Absolutlage (pAl) der Bilderfassungseinrichtung (1) und eine auf das ortsfeste Koordinatensystem bezogene Absolutlage (pA3) der Anzeigeeinrichtung (3) ermittelt werden und anhand der Absolutlagen (pAl, pA3) der Bilderfassungseinrich- tung (1) und der Anzeigeeinrichtung (3) die Relativlage
(pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
10. Computereinrichtung nach Anspruch 7, 8 oder 9, d a d u r c h g e k e n n z e i c h n e t ,
dass die Bilderfassungseinrichtung (1) und/oder die Anzeige- einrichtung (3) bewegbar sind.
11. Computereinrichtung nach einem der Ansprüche 7 bis 10, d a d u r c h g e k e n n z e i c h n e t ,
dass die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) von der Recheneinheit (4) kontinuierlich, in festen zeitlichen Abständen, ausgelöst durch einen Benutzerbefehl oder ausgelöst durch eine von einer Sensorik (11 bis 13) erkannte Veränderung (δρΑΙ, δρΑ3 , 5pR13) einer auf ein ortsfestes Koordinatensystem bezogenen Absolutlage (pAl) der Bilderfassungseinrichtung (1) , einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage (pA3) der Anzeigeeinrichtung (3) oder der Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
12. Computereinrichtung nach einem der Ansprüche 7 bis 11, d a d u r c h g e k e n n z e i c h n e t ,
dass die von der Recheneinheit (4) ermittelte und ausgeführte Aktion (A) eine Steuerung der Anzeigeeinrichtung (3) ist.
PCT/EP2014/050731 2013-04-12 2014-01-15 Gestensteuerung mit automatisierter kalibrierung Ceased WO2014166645A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/781,997 US9880670B2 (en) 2013-04-12 2014-01-15 Gesture control having automated calibration
CN201480020630.3A CN105103086B (zh) 2013-04-12 2014-01-15 具有自动校准的手势控制

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013206569.8A DE102013206569B4 (de) 2013-04-12 2013-04-12 Gestensteuerung mit automatisierter Kalibrierung
DE102013206569.8 2013-04-12

Publications (1)

Publication Number Publication Date
WO2014166645A1 true WO2014166645A1 (de) 2014-10-16

Family

ID=49998260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/050731 Ceased WO2014166645A1 (de) 2013-04-12 2014-01-15 Gestensteuerung mit automatisierter kalibrierung

Country Status (4)

Country Link
US (1) US9880670B2 (de)
CN (1) CN105103086B (de)
DE (1) DE102013206569B4 (de)
WO (1) WO2014166645A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
WO2012129669A1 (en) * 2011-03-28 2012-10-04 Gestsure Technologies Inc. Gesture operated control for medical information systems

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE515134C2 (sv) * 1998-09-11 2001-06-11 Qualisys Ab System och metod för kamerapositionering i en virtuell studio
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
AU2002361212A1 (en) * 2002-12-23 2004-07-14 Universita' Degli Studi Di Firenze Hand pointing apparatus
JP4136859B2 (ja) * 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
EP1739622B1 (de) * 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Erkennung eines Bildmerkmals mit Hilfe zweier Kameras
US9141254B2 (en) 2005-11-12 2015-09-22 Orthosensor Inc Navigation system and user interface for directing a control action
US7834847B2 (en) 2005-12-01 2010-11-16 Navisense Method and system for activating a touchless control
JP5036260B2 (ja) * 2006-09-14 2012-09-26 キヤノン株式会社 位置姿勢算出方法及び装置
WO2009004960A1 (ja) 2007-06-29 2009-01-08 Dic Corporation 光透過層用紫外線硬化型組成物及び光ディスク
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
WO2010009418A1 (en) 2008-07-18 2010-01-21 Wei Gu Systems and methods for controlling computers and devices
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8907894B2 (en) 2009-10-20 2014-12-09 Northridge Associates Llc Touchless pointing device
EP2642371A1 (de) 2010-01-14 2013-09-25 BrainLAB AG Steuerung eines chirurgischen Navigationssystems
CN103218055B (zh) * 2010-02-05 2017-03-01 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器
CN102446048B (zh) 2010-09-30 2014-04-02 联想(北京)有限公司 信息处理设备以及信息处理方法
CN102156859B (zh) * 2011-04-21 2012-10-03 刘津甦 手部姿态与空间位置的感知方法
US8612641B1 (en) * 2011-05-31 2013-12-17 Amazon Technologies, Inc. Portable computing device as control mechanism
US8803800B2 (en) * 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
US9240075B2 (en) * 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
DE102013208762A1 (de) * 2013-05-13 2014-11-13 Siemens Aktiengesellschaft Intuitive Gestensteuerung
US20170161903A1 (en) * 2015-12-03 2017-06-08 Calay Venture S.á r.l. Method and apparatus for gesture recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
WO2012129669A1 (en) * 2011-03-28 2012-10-04 Gestsure Technologies Inc. Gesture operated control for medical information systems

Also Published As

Publication number Publication date
DE102013206569B4 (de) 2020-08-06
US20160041693A1 (en) 2016-02-11
CN105103086B (zh) 2018-02-16
DE102013206569A1 (de) 2014-10-16
CN105103086A (zh) 2015-11-25
US9880670B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
EP3486915B1 (de) Verfahren zur steuerung des betriebs einer medizintechnikeinrichtung, bediengerät, bediensystem und medizintechnikeinrichtung
DE102008034237B4 (de) Positionierungssystem für die transkranielle Magnetstimulation
DE102013004692B4 (de) 3D-Eingabegerät mit einem zusätzlichen Drehregler
DE102013220865A1 (de) Verfahren und System zum Fernbedienen einer Werkzeugmaschine mittels eines mobilen Kommunikationsgeräts
DE102015224308A1 (de) Manipulatorsystem und Verfahren zur Identifikation von Bedienvorrichtungen
EP3639782A1 (de) Steuerungsanordnung zur steuerung einer bewegung eines roboterarms und behandlungsvorrichtung mit steuerungsanordnung
EP2860614B1 (de) Verfahren und Vorrichtung zur Handhabung grafisch dargestellter Daten
DE102015211965A1 (de) Berührungslose Gerätesteuerung im medizinischen Sterilbereich
DE102012021422A1 (de) Vorrichtung und Verfahren zur Steuerung von Maschinen mit mindestens einem beweglichen Element, insbesondere Kranen
WO2015043784A1 (de) Fernbedienung und verfahren zur steuerung eines gerätes mit zumindest einem bewegungsfreiheitsgrad
DE102013219145B4 (de) Medizinsystem
DE102013219194B4 (de) Medizinsystem
DE102013206569B4 (de) Gestensteuerung mit automatisierter Kalibrierung
DE102017116830A1 (de) Bedieneinrichtung für eine Arbeitsmaschine
DE102017220529A1 (de) Verfahren zur Bedienung einer Blendeneinrichtung einer Röntgeneinrichtung und Röntgeneinrichtung
DE19811286C2 (de) Kamerabewegungssteuerung
EP3098565B1 (de) Verfahren zum bedienen eines baulasers
DE102012217148A1 (de) Clienteinrichtung zur Darstellung von Kamerabildern einer steuerbaren Kamera, Verfahren, Computerprogramm sowie Überwachungssystem mit der Clienteinrichtung
EP2653272A1 (de) Betriebsverfahren für einen Rechner zum Programmieren der Bewegungen einer Maschine
DE102019108670B4 (de) Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms, sowie Anordnung zur Durchführung des Verfahrens
DE102016217204A1 (de) Verfahren zu einem Planen und/oder Steuern einer medizinischen Bildgebungsuntersuchung mittels eines mobilen Endgeräts
DE102016214391B4 (de) Verfahren zum Steuern eines Betriebes eines Koordinatenmessgerätes und Koordinatenmessgerät mit Steuerung
DE102007026120A1 (de) Verfahren zur selbsttätigen Steuerung eines Zeigerelements in graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems
DE102014210892A1 (de) Verfahren zum Betrieb einer durch mit wenigstens einem Körperteil des menschlichen Körpers durchgeführten Gesten steuerbaren Eingabevorrichtung und Eingabevorrichtung
EP3797677A1 (de) Mobiles medizinisches gerät sowie verfahren und system zur steuerung des mobilen medizinischen geräts

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480020630.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14700863

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 14781997

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14700863

Country of ref document: EP

Kind code of ref document: A1