[go: up one dir, main page]

EP2017756A1 - Method for displaying and/or processing or manipulating image data for medical purposes with gesture recognition - Google Patents

Method for displaying and/or processing or manipulating image data for medical purposes with gesture recognition Download PDF

Info

Publication number
EP2017756A1
EP2017756A1 EP07014276A EP07014276A EP2017756A1 EP 2017756 A1 EP2017756 A1 EP 2017756A1 EP 07014276 A EP07014276 A EP 07014276A EP 07014276 A EP07014276 A EP 07014276A EP 2017756 A1 EP2017756 A1 EP 2017756A1
Authority
EP
European Patent Office
Prior art keywords
inputs
screen
screen surface
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP07014276A
Other languages
German (de)
French (fr)
Inventor
Wolfgang Steinle
Nils Frielinghaus
Christoffer Hamilton
Michael Gschwandtner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brainlab SE
Original Assignee
Brainlab SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brainlab SE filed Critical Brainlab SE
Priority to EP07014276A priority Critical patent/EP2017756A1/en
Priority to EP08151038A priority patent/EP2031531A3/en
Priority to US12/176,027 priority patent/US20090021475A1/en
Priority to US12/176,107 priority patent/US20090021476A1/en
Publication of EP2017756A1 publication Critical patent/EP2017756A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Definitions

  • the invention relates to a method for displaying and / or processing or processing image data of medical or medical technology origin.
  • Medical or medical imaging material produced by medical imaging techniques such as e.g. Computed tomography, magnetic resonance imaging or X-ray machines (two-dimensional / three-dimensional) are increasingly being stored as digital image material or as a digital image data record.
  • Systems used for this purpose bear the name "Picture Archiving and Communication System (PACS)".
  • PACS Picture Archiving and Communication System
  • the primary consideration or evaluation of such digital images is currently limited to radiologists who work in designated viewing rooms with high-resolution monitors of high luminosity, which can be achieved in hospitals savings in terms of the used film material.
  • a display system for medical images which is constructed in the manner of a showcase or a lightbox, is from the US-2002/0039084 A1 known.
  • various options for manipulating the medical images are specified, such as inputs via a separate control panel, remote controls, simple touch screen applications or voice control.
  • the invention provides a digital lightbox with an optimized command input system that relies on the processing of user-executed gestures that can be performed directly on the screen or are detected by detection associated directly with the screen.
  • gestures are inputs which have a special meaning in their nature or to which a specific meaning can be assigned by the display device or its components.
  • Such gesture recognition along with the input on-screen input screen associated with the screen, allows the user to quickly and intuitively view the picture, makes picture viewing systems suitable for operating theaters, particularly because the necessary sterility can be maintained.
  • Image viewing systems using the method according to the invention can be provided wall-mounted in the manner of showcases or light boxes, thus providing the user with his usual working environment. Complicated and expensive or difficult to sterilize operating means such as mice and keyboards or input keypads need no longer be provided or operated, with the gesture recognition provides a way to more diverse viewing and image manipulation than was the case with conventional systems in general.
  • the FIG. 1 shows a schematic representation of a digital lightbox, with which the method according to the present invention can be implemented.
  • the digital lightbox (display device) 1 comprises two separate screens or screen parts 2, 3 and an integrated computer data processing unit 4, which is shown only schematically.
  • image data records can be loaded into the lightbox 1 via the computer data processing unit 4, and on the other hand, it controls the representation of the image data records, in accordance with the input rules, which will be discussed in more detail below with reference to many examples.
  • the data processing unit 4 may optionally detect changes or additions made by the inputs and may alter the records accordingly.
  • the screens or screen parts 2, 3 are in this Example according to the invention designed as a so-called multi-touch screens.
  • multiple inputs can be detected simultaneously, such as inputs to various screen locations or areal inputs.
  • the screen can capture inputs through actual touches of the screen surface or presences near the screen surface, which is made possible, for example, by the construction of an infrared ray grid.
  • the two screens or monitors 2 and 3 are arranged side by side, wherein the smaller monitor 3 in a preferred embodiment, a control interface (for example, for data transfer, the input command assignment or the selection of images or image data) provides and on the larger monitor the Pictures themselves are presented.
  • the width of the smaller monitor 3 corresponds to the height of the larger monitor 2, and the smaller monitor 3 is rotated by 90 degrees, whereby a large operating surface is formed.
  • FIG. 2 shows a screen section 15, on which an image 14 is displayed, here is a schematic patient's head image. It is the hand 10 of an operator to see, with the left index finger of the area of the second phalanx as areal area with the reference numeral 13 and the tip of the index finger are indicated as point 11.
  • an operator can now perform, for example, a two-dimensional touch of the screen with the index finger area 13 (or also with the entire finger). On the other hand, the touch can be done, for example, only with the fingertip 11.
  • this term should at least include the two above-mentioned types of input on the screen, namely on the one hand an actual touch of the screen and on the other hand the generation of a Presence on the screen surface or at a (moderate) distance from the screen surface.
  • the operator can carry out different input gestures, which on the one hand can comprise punctiform touches and, on the other hand, areal touches. Such different inputs can also be interpreted differently, and this fact provides the operator with a further dimension for data entry.
  • Some examples of different input interpretations that may be associated with areal touch or punctiform touch and that may be distinguished by the types of touch are moving images on the screen, selecting a position in a scrollbar on another, similar user interface; the movement of a scrollbar pointer to a selected position for faster selection in a scroll field; playing or pausing animated image sequences, or even selecting options in a box with multiple (scrollable) options, such as changing the sort type.
  • FIGS. 3a to 3d show possible uses of the present invention in the image viewing.
  • the FIG. 3a shows, for example, how a selected image 14 can be influenced by a touch with one or two fingertips 11, 12 of a hand, and an example of such an influence could be the modification of the brightness and the contrast by an interaction of gestures that coincide with the fingertips 11, 12 are performed.
  • the brightness can be adjusted by touching a single fingertip on the screen and then performing a horizontal movement, while a vertical movement will adjust the contrast.
  • Another example would be a disjointing and bringing together of the fingertips 11, 12 when the program is set to respond appropriately to such gestures.
  • FIG. 3b shows how a certain screen detail with the help of two fingertips 11, 21 of two hands 10, 20 can be selected, which is visually represented by the rectangular outline 23.
  • the outline 23 can be generated, for example, by a simultaneous contact with the two fingertips 11, 21.
  • corresponding command assignments can be stored and assigned in the gesture recognition software of the computer data processing unit 4, and that it is also possible to change such assignments, for example, by preselecting a particular interpretation on the left small screen 3 of FIG Lightbox 1. This can basically apply to all other or previous embodiments as well.
  • a magnifying feature according to the present invention can be understood from the FIGS. 4a to 4c be explained.
  • the gesture recognition may include an association in which a first screen touch with the fingertip 21 enlarges an area in the vicinity of the touch point, which is then displayed in the manner of a magnifier with the edge 29.
  • the text 27 is enlarged in this area, and there is a possibility - see Figure 4c to make a selection in the text with a second touch in parallel or subsequently (and then simultaneously) to the first touch, for example the selection of a hyperlink if the second touch occurs within the enlarged area.
  • the second touch however, another process can alternatively be triggered, for example the marking of an image location, which does not necessarily have to be a text module, but can also be a specific part in an anatomical representation.
  • a variant in which a polygonal draft is generated by means of a method according to the invention is disclosed in US Pat FIGS. 5a to 5d to see.
  • a series of touches triggers the selection or definition of a region of interest, for example a bone structure in a medical image 14.
  • the first Touch 31 is interpreted as the starting point for the region of interest or traverse, and as long as the first point 31 remains active (this may or may not necessarily require a fingertip to remain on the first point) then the following touches will be considered as further points on the boundary line of interest Area interpreted.
  • By returning to the first point via further points 32, 33, etc. it can be indicated that the area is completely defined; but this can also be done by another touch sequence or by removing all touch.
  • the region of interest is then marked with the polygon 35 ( FIG. 5d ).
  • FIGS. 6a to 6d Another image manipulation is based on the FIGS. 6a to 6d shown, namely the mirroring or tilting of an image 14 on the lightbox 1.
  • the two Figures 6a and 6b show how an image 14 can be tilted about a horizontal axis by tilting a virtual button 40 provided separately for this gesture horizontally from the bottom to the top by means of a fingertip. If the displacement is in the horizontal direction, a corresponding tilt can take place about a vertical axis. After performing the tilting operation, the button remains at the displaced location 40 ', so that it can also serve as an indication that the image has been tilted or mirrored.
  • FIGS. 6c and 6d A two-handed tilting or mirroring gesture is in the FIGS. 6c and 6d demonstrated.
  • this embodiment interprets this as a command to flip the image 14 about a vertical axis.
  • a mirroring about a horizontal axis is possible by a corresponding, opposite finger movement in the vertical direction.
  • FIGS. 7a and 7b The input shown concerns the invocation of an otherwise hidden menu field 45 by a first fingertip touch 11 (FIG. Figure 7a ), whereupon with a second touch a selection in the unfolded menu can be done, for example, here the selection of the middle command field 46th
  • the embodiment according to the FIGS. 8a to 8c concerns the input of characters via an on-screen keyboard. More keystrokes can be made than with the standard 101-key keypads, for example, the input of all 191 characters according to IS08859-1 can be supported by assigning multiple characters to a virtual key. The characters are assigned using similarity criteria, for example, the character E is assigned several other E characters with different accents. After the character E is selected on the keyboard portion 52, an additional keyboard portion 54 offers various alternative characters ( FIG. 8b ), while the character E in its basic form is already written in the control output 50. If then, as in FIG. 8c If a special character E with an accent from row 54 is selected, the last character entered is replaced by this special character.
  • FIGS. 9a to 9d Scroll bar operation using the present invention will be described with reference to FIGS FIGS. 9a to 9d explained.
  • the scroll bar 61 comprises a scroll arrow or scroll area 62
  • FIG. 9d is still the list 60 extended, namely a number column 63. Scrolling through the list 60 can be done according to the invention by touching the scrollbar 61 in the arrow area 62, and by the fingertip 21 is guided downward, is scrolled down in the list 60 like that FIGS. 9a and 9b can be seen. Pulling the fingertip 21 with touch on the screen leads to this process.
  • the list jumps to a corresponding relative position and the selected one Area is displayed.
  • the display or scroll order may be changed by other than a punctiform selection.
  • a surface contact with the second phalanx 23 results in that a second list 63 is opened, can be scrolled by moving up and down of the finger.
  • FIGS. 10a to 10c A variant of the invention in which diagrams are manipulated, is in the FIGS. 10a to 10c shown.
  • the diagram 70 here an ECG of a patient has, for example, the tip 72 ( FIG. 10a ). If a user wants to know more about the value at this point, he can - as in FIG. 10b - select the point 72 by the circling with his fingertip 21, whereupon, for example, the selection circuit 74 appears to confirm. In response to this selection, the computer data processing unit can now output on the diagram axes 74, 76 the values concerning the tip 72, here 0.5 on the axis 74 and 54 on the axis 76. Similar evaluations are for other measurements or for example Properties such as color values of the selected point or a selected surface are possible.
  • FIGS. 11a and 11b show two different ways to select a chart area.
  • the chart area is selected by two fingertip touches 11, 21 on the bottom axis, and the height of the selection area 77 is automatically determined to include the important chart portions.
  • a selection in which the height itself is chosen is for the range 78 in FIG. 11d to see, with the fingertip contacts 11 and 21 define opposite corners of a rectangular area 78.
  • already existing Selections such as the selection area 79 ( FIG. 11e ), which is changed by moving the fingertip 11 into the area 79 '.
  • FIG. 12 shows how using the present invention of a lightbox or their data processing unit can be informed whether the user is right- or left-handed.
  • a planar application of the hand 20 on a screen area 17 causes multiple touches, and by detecting the size of different points of contact and the distances between the touches can - for example, by a model comparison - to determine whether it is a right or a left hand.
  • the user interface or the display can be adjusted accordingly so that it is convenient and optimally manageable for the respective type.
  • the fact that this is such a determination can be determined by the data processing unit in one embodiment, for example, when a hand rest takes place over a certain period of time.
  • FIGS. 13a to 13c show examples of this.
  • the user can bring two fingertips 21, 22 into contact with the screen, and a line 80 is drawn by this gesture. If the user now - as in FIG. 13b - The fingertips 21, 22 further apart, the right angle to the fingertip connection defined line is stretched, the line length is thus defined relative to the fingertip distance.
  • a ruler 82 are generated whose scale depends on the distance of the fingertips 21, 22.
  • the meaning of the input gesture may depend on an input mode to be previously selected or even gesture-identifiable or gesture-identifiable.
  • FIGS. 14a to 14h Two- and three-dimensional image manipulations, as can be carried out with the aid of the present invention, are exemplary in the FIGS. 14a to 14h demonstrated.
  • an object can be manipulated, which is displayed on the screen as a three-dimensional model or three-dimensional reconstruction of a patient scan.
  • FIG 14a So is in Figure 14a shown how a cutting plane on a brain 84 can be determined and displayed.
  • the cutting plane 88 is a plane pointed by the arrow 85.
  • the arrow 85 is generated by two fingertip contacts 21, 22, and its length depends on the distance of the fingertips 21, 22. It leads perpendicular to the plane 88.
  • the fingertips 21, 22 moved further apart or brought closer to each other, the position of the cutting plane 88 changes, and a corresponding sectional image can be additionally displayed next to, as indicated by the reference numeral 86.
  • the representation 86 can be "scrolled" as an orthogonal sectional plane through different cutting planes.
  • the Figures 14b and 14c show how the displacement of two contacts in a rotary motion rotates a three-dimensional object about an axis parallel to the line of sight and centered on the line between the two contacts.
  • FIG. 14f shows how two two-finger lines 87, 87 'can be used, similar to Figure 14a Create cutting planes, where a three-dimensional object wedge can be defined.
  • the Figures 14g and 14h show, finally, that the rotation or rotation processes described can also be applied to two-dimensional representations that originate from a three-dimensional data set or have been assigned to each other in some other way.
  • the representation 89 is 90 degrees from the state of Figure 14g to the state of Figure 14h turned.
  • dataset orientations can be changed between sagittal, axial and coronal. For example, if there is a sagittal image, positioning the finger touches on the top of the image and pulling the contact downwards would prevent alignment with an axial alignment.
  • FIGS. 15a and 15b show another embodiment in which first a GUI (Graphic User Interface) element 98 is selected from a selection 97 by a fingertip touch to select a label, after which the fingertip contact with the other hand 10 then labels 99 at the desired one Place attach.
  • GUI Graphic User Interface
  • FIG. 16 how to request an erase confirmation for the image 100 and triggers according to the invention, namely by a two-handed touch of the buttons 104 and 106 according to a request 102.
  • FIG. 17 shows an application case in which a real object can be measured, for example, the pointing device 110, which on the screen portion 19th is brought. If a corresponding mode is set or the object 110 remains on the screen for a longer period of time, it can be triggered by measuring the contact area or counting the number of contacts and corresponding object dimensions can be detected.
  • FIGS. 18a and 18b show how a geometric object, here a circle on the screen, can be generated with the aid of corresponding gestures.
  • Circle 112 is created by pointing a fingertip to midpoint 114 and a fingertip to a perimeter point 116, while in FIG. 18b a circle 120 is entered through three perimeter points 122, 123, and 124.
  • implant 130 can be altered, for example, by enlargement, reduction, or rotation gestures, as described above. If other image data is available on the screen, eg anatomy structures, into which the implant can be inserted, the appropriate implant size can already be planned in advance on the screen. It is then also possible to let the computer compare the adapted implant with different stored and available implant sizes. If a suitable implant is already available and the database outputs the corresponding, exactly this implant can be chosen or ordered, or necessary adjustments of the next larger implant are already calculated and output.
  • a gesture can be interpreted differently and depending on the part of the image to which the gesture is applied.
  • the displayed image has a bright head outline 134 and a dark area 132, and when the finger is pointed at the bright area, this gesture may be considered, for example, as a command to scroll through different cutting planes as the finger is drawn across the light area becomes ( FIG. 20b ), eg if the finger with his But tip 21 is placed on the dark area, this gesture is interpreted as a command to move the image, as in FIG. 20c is shown.
  • the gesture recognition can be used to display and set a clock or a countdown, and in FIG. 21
  • a two-finger touch will make a countdown clock 140 appear on the monitor. Then, when the index finger is rotated around the thumb, this results in a shift of the pointer 142, and the countdown can start at this preset time.
  • Another application is a signature that is entered by multiple touch of the screen. If a line sequence is entered simultaneously or consecutively with two hands and corresponding gestures, this can be used for a very unambiguous identification of the user.
  • FIGS. 23a to 23c concerns a multiple selection of picture elements or image objects or the handling of such elements or objects.
  • a number of image objects namely smaller images 150
  • the first image 152 and the last image 154 of an image sequence to be selected are selected in a corresponding selection mode.
  • the first contact with the hand 10 in the image 152 remains active until the image 154 has also been selected.
  • the plurality of images can now be fed to different edits or used in different ways.
  • FIG. 23b shown. Namely, if from the state of FIG.
  • a compressed file can be generated that includes all the selected individual representations and that in FIG. 23b designated by reference numeral 156.
  • FIG. 23c The application shown is, for example, the playback of a movie or a sequence of selected files, and this can also be done by a corresponding gesture or by activating a play button.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The method involves detecting gestures that are formed in front part of a screen surface. The gestures are correlated to predetermined instructional inputs. A manipulation and generation process is performed through a computer support, and medical image data is set in response to the instructional inputs. A data processing unit is integrated with a display device. The instruction inputs are provided with control inputs to display medical image data (14) on a screen section (15). The gestures are detected without making contact with a surface of the screen. An independent claim is also included for a computer program comprising a set of instructions to process and display a medical image data on a display device.

Description

Die Erfindung betrifft ein Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs.The invention relates to a method for displaying and / or processing or processing image data of medical or medical technology origin.

Medizinisches oder medizintechnisches Bildmaterial, das mit Hilfe medizintechnischer Bildgebungsverfahren erzeugt wird, wie z.B. mit Computertomographie, Kernspintomographie oder Röntgengeräten (zweidimensional/dreidimensional) wird in immer größerem Umfang als digitales Bildmaterial bzw. als digitaler Bilddatensatz gespeichert. Hierfür verwendete Systeme tragen die englische Bezeichnung "Picture Archiving and Communication System (PACS)". Die primäre Betrachtung bzw. Auswertung solcher digitalen Bilder beschränkt sich derzeit auf Radiologen, die in dafür vorgesehenen Betrachtungsräumen mit hochauflösenden Monitoren hoher Leuchtkraft arbeiten, wodurch in Krankenhäusern Einsparungen bezüglich des verwendeten Filmmaterials erzielt werden können.Medical or medical imaging material produced by medical imaging techniques, such as e.g. Computed tomography, magnetic resonance imaging or X-ray machines (two-dimensional / three-dimensional) are increasingly being stored as digital image material or as a digital image data record. Systems used for this purpose bear the name "Picture Archiving and Communication System (PACS)". The primary consideration or evaluation of such digital images is currently limited to radiologists who work in designated viewing rooms with high-resolution monitors of high luminosity, which can be achieved in hospitals savings in terms of the used film material.

Außerhalb der Radiologie schreitet der Übergang zur filmlosen Bildbetrachtung langsamer fort. Es werden beispielsweise Bilder, die in der Radiologie filmlos betrachtet werden, auf Film ausgedruckt, um einer sekundären Verwendung in anderen Abteilungen zugänglich gemacht zu werden. Dies mag einerseits daran liegen, dass PACS-Computerprogramme sehr auf Radiologen abgestimmt sind; andererseits ist ihre Bedienung oftmals kompliziert. Hinzu kommt noch, dass viele Ärzte daran gewöhnt sind, mit einem von hinten beleuchteten Schaukasten zu arbeiten, der auch "Lightbox" genannt wird.Outside of radiology, the transition to filmless image viewing is progressing more slowly. For example, images that are viewed filmless in radiology are printed on film to be made available for secondary use in other departments. On the one hand, this may be because PACS computer programs are very much geared to radiologists; On the other hand, their operation is often complicated. In addition, many doctors are used to working with a backlit showcase, also known as "Lightbox".

Es sind Anstrengungen unternommen worden, digitales Bildmaterial für die sekundäre Verwendung außerhalb der Radiologie besser zugänglich zu machen, beispielsweise durch Großbildmonitore in Operationssälen, die durch kabellose Tastaturen oder Mäuse bedient werden können. Auch einfache Touchscreen-Bedienungen werden verwendet, oder es werden separate Kameras bereitgestellt, welche Steuerungseingaben von Ärzten oder Bedienungspersonal erkennen können. Ein Anzeigesystem für medizinische Bilder, das in der Art eines Schaukastens bzw. einer Lightbox aufgebaut ist, ist aus der US-2002/0039084 A1 bekannt. Hier werden verschiedene Möglichkeiten zur Manipulation der medizinischen Bilder angegeben, beispielsweise Eingaben über ein separates Kontrollfeld, Fernbedienungen, einfache Touchscreen-Applikationen oder Sprachsteuerung.Efforts have been made to make digital imagery more accessible for secondary use outside radiology, for example, by large screen monitors in operating theaters, which can be operated by wireless keyboards or mice. Simple touch screen operations are also used, or separate cameras are provided which can detect control input from physicians or operators. A display system for medical images, which is constructed in the manner of a showcase or a lightbox, is from the US-2002/0039084 A1 known. Here, various options for manipulating the medical images are specified, such as inputs via a separate control panel, remote controls, simple touch screen applications or voice control.

Es ist die Aufgabe der vorliegenden Erfindung, die Betrachtung und Manipulation von Bildern bzw. Bilddaten medizinischen oder medizintechnischen Ursprungs, beispielsweise Patientenbilddaten, einfach und intuitiv zu gestalten und insbesondere auch in Operationssälen bzw. für die sekundäre Verwendung nach der Radiologie in optimierter Weise zugänglich zu machen.It is the object of the present invention to make the viewing and manipulation of images or image data of medical or medical technology origin, for example patient image data, simple and intuitive and in particular to make them accessible in operating theaters or for secondary use after radiology in an optimized manner ,

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren gemäß dem Anspruch 1 gelöst. Die Unteransprüche definieren bevorzugte Ausführungsformen der Erfindung.This object is achieved by a method according to claim 1. The subclaims define preferred embodiments of the invention.

Bei dem erfindungsgemäßen Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs wird ein Anzeigegerät mit mindestens einem Bildschirm verwendet, wobei

  • die Bilddaten durch eine im Anzeigegerät integrierte Computer-Datenverarbeitungseinheit verarbeitet werden, um Bildausgaben zu erzeugen und/oder die Bilddaten zu ändern bzw. zu bestätigen,
  • die Bilddaten durch Eingaben am Bildschirm selbst manipuliert, erzeugt oder aufgerufen werden, und wobei
  • die Eingaben mit Hilfe der Datenverarbeitungseinheit über eine Gestenerkennung identifiziert werden, wobei die Gesten per Hand oder mit Gestenerzeugungsgeräten erzeugt werden.
In the method according to the invention for the display and / or processing or processing of image data of medical or medical technology origin, a display device with at least one screen is used, wherein
  • the image data is processed by a computer data processing unit integrated in the display device to generate image output and / or to modify or confirm the image data;
  • the image data are manipulated, generated or called up by inputs on the screen itself, and wherein
  • the inputs are identified by means of the data processing unit via gesture recognition, the gestures being generated manually or with gesture-generating devices.

Anders ausgedrückt stellt die Erfindung eine digitale Lightbox mit einem optimierten Befehlseingabesystem zur Verfügung, das auf der Verarbeitung von durch einen Benutzer ausgeführten Gesten beruht, die unmittelbar am Bildschirm ausgeführt werden können oder durch eine Erfassung detektiert werden, die unmittelbar dem Bildschirm zugeordnet ist. Solche Gesten sind im Sinne der vorliegenden Erfindung Eingaben, denen ihrer Natur nach eine spezielle Bedeutung zukommt, oder denen vom Anzeigegerät oder seinen Komponenten eine spezielle Bedeutung zugeordnet werden kann.In other words, the invention provides a digital lightbox with an optimized command input system that relies on the processing of user-executed gestures that can be performed directly on the screen or are detected by detection associated directly with the screen. For the purposes of the present invention, such gestures are inputs which have a special meaning in their nature or to which a specific meaning can be assigned by the display device or its components.

Eine solche Gestenerkennung zusammen mit der Eingabe am Bildschirm durch dem Bildschirm zugeordnete Eingabe-Erkennungsmittel gestattet dem Benutzer eine schnelle und intuitive Bildbetrachtung, sie macht Bildbetrachtungssysteme geeignet für Operationssäle, insbesondere weil die notwendige Sterilität aufrechterhalten werden kann. Bildbetrachtungssysteme, die das erfindungsgemäße Verfahren verwenden, können in der Art von Schaukästen bzw. Lightboxen wandmontiert bereitgestellt werden und so dem Benutzer sein gewohntes Arbeitsumfeld bereitstellen. Komplizierte und aufwändige bzw. schwer zu sterilisierende Bedienungsmittel wie Mäuse und Tastaturen oder Eingabetastenfelder müssen nicht mehr bereitgestellt oder bedient werden, wobei darüber hinaus die Gestenerkennung eine Möglichkeit zur vielfältigeren Betrachtung und Bildmanipulation bietet als dies bei herkömmlichen Systemen generell der Fall war.Such gesture recognition, along with the input on-screen input screen associated with the screen, allows the user to quickly and intuitively view the picture, makes picture viewing systems suitable for operating theaters, particularly because the necessary sterility can be maintained. Image viewing systems using the method according to the invention can be provided wall-mounted in the manner of showcases or light boxes, thus providing the user with his usual working environment. Complicated and expensive or difficult to sterilize operating means such as mice and keyboards or input keypads need no longer be provided or operated, with the gesture recognition provides a way to more diverse viewing and image manipulation than was the case with conventional systems in general.

Die Erfindung wird nunmehr anhand mehrerer Ausführungsformen näher erläutert. Sie kann alle hierin beschriebenen Merkmale einzeln sowie in jedweder sinnvollen Kombination umfassen: In den beiliegenden Zeichnungen zeigen:

Figur 1
ein schematisches Abbild der erfindungsgemäßen digitalen Lightbox;
Figur 2
eine Darstellung einer flächenartigen Eingabe;
Figuren 3a bis 3d
Bildbetrachtungsbeispiele;
Figuren 4a bis 4c
ein Beispiel für eine Bildschirmausschnitt-Vergrößerung;
Figuren 5a bis 5d
ein Beispiel für die Erzeugung eines Polygonzuges;
Figuren 6a bis 6d
Beispiele für das Spiegeln bzw. Kippen eines Bildes;
Figuren 7a und 7b
Beispiele für das Aufrufen eines versteckten Menüs;
Figuren 8a bis 8c
Beispiele für eine Bildschirmtastaturbedienung;
Figuren 9a bis 9d
Beispiele für eine Scroll-Bedienung;
Figuren 10a bis 10c
ein Beispiel für eine Punktanwahl in einem Diagramm;
Figuren 11a bis 11f
Beispiele für Diagrammmanipulationen;
Figur 12
ein Beispiel für eine Linkshänder/Rechtshänder-Erkennung;
Figuren 13a bis 13c
Beispiele für eine Linienerzeugung bzw. -manipulation;
Figuren 14a bis 14h
Beispiele für die Manipulation von Bilddarstellungen für Patientendatensätze;
Figuren 15a bis 15d
Beispiele für Punktzuordnungen;
Figur 16
ein Beispiel für eine Befehlsbestätigung;
Figur 17
ein Beispiel für eine Objektvermessung;
Figuren 18a und 18b
Beispiele für eine Kreiskontur-Erzeugung;
Figur 19
ein Beispiel für die Manipulation eines Implantats;
Figuren 20a bis 20c
ein Beispiel für eine bildinhaltsabhängige Eingabeinterpretation;
Figur 21
ein Beispiel für eine Countdown-Einstellung;
Figur 22
ein Beispiel für eine Signatureingabe; und
Figuren 23a bis 23c
Beispiele für die Manipulation mehrerer Bildelemente.
The invention will now be explained in more detail with reference to several embodiments. It may include all the features described herein individually and in any suitable combination: In the accompanying drawings:
FIG. 1
a schematic image of the digital lightbox according to the invention;
FIG. 2
a representation of a planar input;
FIGS. 3a to 3d
Image viewing examples;
FIGS. 4a to 4c
an example of a screen detail magnification;
FIGS. 5a to 5d
an example of the generation of a polygon train;
FIGS. 6a to 6d
Examples of mirroring or tilting an image;
FIGS. 7a and 7b
Examples of invoking a hidden menu;
FIGS. 8a to 8c
Examples of on-screen keyboard operation;
FIGS. 9a to 9d
Examples of a scroll operation;
FIGS. 10a to 10c
an example of a point selection in a diagram;
FIGS. 11a to 11f
Examples of chart manipulations;
FIG. 12
an example of left-handed / right-handed recognition;
FIGS. 13a to 13c
Examples of line generation or manipulation;
FIGS. 14a to 14h
Examples of manipulating image representations for patient records;
FIGS. 15a to 15d
Examples of point assignments;
FIG. 16
an example of a command confirmation;
FIG. 17
an example of an object measurement;
Figures 18a and 18b
Examples of circular contour generation;
FIG. 19
an example of the manipulation of an implant;
FIGS. 20a to 20c
an example of an image content dependent input interpretation;
FIG. 21
an example of a countdown setting;
FIG. 22
an example of a signature input; and
FIGS. 23a to 23c
Examples of the manipulation of several picture elements.

Die Figur 1 zeigt in schematischer Darstellung eine digitale Lightbox, mit der das Verfahren gemäß der vorliegenden Erfindung umgesetzt werden kann. Die digitale Lightbox (Anzeigegerät) 1 umfasst zwei separate Bildschirme oder Bildschirmteile 2, 3 und eine integrierte Computer-Datenverarbeitungseinheit 4, die nur schematisch dargestellt ist. Über die Computer-Datenverarbeitungseinheit 4 können einerseits Bilddatensätze in die Lightbox 1 geladen werden, andererseits wird durch sie die Darstellung der Bilddatensätze gesteuert, und zwar gemäß der Eingabegesten, die im weiteren noch anhand vieler Beispiele besprochen werden. Natürlich kann die Datenverarbeitungseinheit 4 optional auch Änderungen oder Ergänzungen feststellen, die durch die Eingaben vorgenommen werden und kann die Datensätze entsprechend verändern. Die Bildschirme bzw. Bildschirmteile 2, 3 sind bei diesem erfindungsgemäßen Beispiel als sogenannte Multitouch-Bildschirme ausgebildet. Bei dieser Technik können mehrere Eingaben gleichzeitig erfasst werden, beispielsweise Eingaben an verschiedenen Bildschirmstellen oder flächenhafte Eingaben. Der Bildschirm kann Eingaben durch tatsächliche Berührungen der Bildschirmoberfläche erfassen oder Präsenzen in der Nähe der Bildschirmoberfläche, was beispielsweise durch den Aufbau eines Infrarotstrahlengitters ermöglicht wird.The FIG. 1 shows a schematic representation of a digital lightbox, with which the method according to the present invention can be implemented. The digital lightbox (display device) 1 comprises two separate screens or screen parts 2, 3 and an integrated computer data processing unit 4, which is shown only schematically. On the one hand, image data records can be loaded into the lightbox 1 via the computer data processing unit 4, and on the other hand, it controls the representation of the image data records, in accordance with the input rules, which will be discussed in more detail below with reference to many examples. Of course, the data processing unit 4 may optionally detect changes or additions made by the inputs and may alter the records accordingly. The screens or screen parts 2, 3 are in this Example according to the invention designed as a so-called multi-touch screens. In this technique, multiple inputs can be detected simultaneously, such as inputs to various screen locations or areal inputs. The screen can capture inputs through actual touches of the screen surface or presences near the screen surface, which is made possible, for example, by the construction of an infrared ray grid.

Durch den integralen Einbau der Datenverarbeitungseinheit 4 entsteht eine abgeschlossene Einheit, die - ebenso wie ein Lichtkasten - an einer Wand befestigt werden kann. Die beiden Bildschirme bzw. Monitore 2 und 3 sind nebeneinander angeordnet, wobei der kleinere Monitor 3 bei einer bevorzugten Ausführungsform eine Steuerungsschnittstelle (beispielsweise für den Datentransfer, die Eingabebefehls-Zuordnung oder die Auswahl von Bildern bzw. Bilddaten) bereitstellt und auf dem größeren Monitor die Bilder selbst dargestellt werden. Die Breite des kleineren Monitors 3 entspricht der Höhe des größeren Monitors 2, und der kleinere Monitor 3 ist um 90 Grad gedreht, wodurch eine große Bedienfläche entsteht.Due to the integral installation of the data processing unit 4 creates a self-contained unit, which - as well as a light box - can be attached to a wall. The two screens or monitors 2 and 3 are arranged side by side, wherein the smaller monitor 3 in a preferred embodiment, a control interface (for example, for data transfer, the input command assignment or the selection of images or image data) provides and on the larger monitor the Pictures themselves are presented. The width of the smaller monitor 3 corresponds to the height of the larger monitor 2, and the smaller monitor 3 is rotated by 90 degrees, whereby a large operating surface is formed.

Anhand der Figur 2 soll erläutert werden, wie im Rahmen der vorliegenden Erfindung flächenhafte Eingabegesten erzeugt werden können. Die Figur 2 zeigt einen Bildschirmausschnitt 15, auf dem ein Bild 14 angezeigt wird, hier ein schematisches Patientenkopf-Abbild. Es ist die Hand 10 eines Bedieners zu sehen, wobei am linken Zeigefinger der Bereich des zweiten Fingergliedes als flächenhafter Bereich mit dem Bezugszeichen 13 und die Spitze des Zeigefingers als Punkt 11 angezeigt sind. Im Rahmen der vorliegenden Erfindung kann nun eine Bedienungsperson beispielsweise eine flächenhafte Berührung des Bildschirms mit dem Zeigefingerbereich 13 (oder auch mit dem gesamten Finger) durchführen. Andererseits kann die Berührung beispielsweise nur mit der Fingerspitze 11 erfolgen.Based on FIG. 2 It should be explained how areal input gauges can be generated in the context of the present invention. The FIG. 2 shows a screen section 15, on which an image 14 is displayed, here is a schematic patient's head image. It is the hand 10 of an operator to see, with the left index finger of the area of the second phalanx as areal area with the reference numeral 13 and the tip of the index finger are indicated as point 11. In the context of the present invention, an operator can now perform, for example, a two-dimensional touch of the screen with the index finger area 13 (or also with the entire finger). On the other hand, the touch can be done, for example, only with the fingertip 11.

Wenn hier und im weiteren der Begriff "Berührung" für eine Eingabe am Bildschirm gewählt wird, so soll dieser Begriff zumindest die beiden oben schon angesprochenen Eingabearten am Bildschirm umfassen, nämlich einerseits eine tatsächliche Berührung des Bildschirm und andererseits die Erzeugung einer Präsenz an der Bildschirmoberfläche bzw. in einer (moderaten) Entfernung von der Bildschirmoberfläche. Wie in der Figur 2 dargestellt, kann also der Bediener im Rahmen der vorliegenden Erfindung unterschiedliche Eingabegesten durchführen, die einerseits punktförmige Berührungen und andererseits flächenhafte Berührungen umfassen können. Solche unterschiedlichen Eingaben können auch unterschiedlich interpretiert werden und dieser Umstand stattet den Bediener mit einer weiteren Dimension für die Dateneingabe aus. Einige Beispiele für unterschiedliche Eingabeinterpretationen, die einer flächenhaften Berührung oder einer punktförmigen Berührung zugeordnet können und sich durch die Berührungsarten unterscheiden lassen, sind das Verschieben von Bildern auf dem Bildschirm, das Auswählen einer Position in einer Scrollleiste bei einer anderen, ähnlichen Benutzerschnittstelle; die Bewegung einer Scrollbar-Zeigers auf eine gewählte Position zur schnelleren Auswahl in einem Scrollfeld; das Abspielen oder Pausieren animierter Bildsequenzen oder auch eine Optionsauswahl in einem Feld mit mehreren (scrollbaren) Optionen, beispielsweise durch das Ändern der Sortierungsart. Auf einiger dieser Möglichkeiten und auf weitere Möglichkeiten wird später noch detaillierter Bezug genommen.If here and further the term "touch" is selected for an input on the screen, then this term should at least include the two above-mentioned types of input on the screen, namely on the one hand an actual touch of the screen and on the other hand the generation of a Presence on the screen surface or at a (moderate) distance from the screen surface. Like in the FIG. 2 Thus, in the context of the present invention, the operator can carry out different input gestures, which on the one hand can comprise punctiform touches and, on the other hand, areal touches. Such different inputs can also be interpreted differently, and this fact provides the operator with a further dimension for data entry. Some examples of different input interpretations that may be associated with areal touch or punctiform touch and that may be distinguished by the types of touch are moving images on the screen, selecting a position in a scrollbar on another, similar user interface; the movement of a scrollbar pointer to a selected position for faster selection in a scroll field; playing or pausing animated image sequences, or even selecting options in a box with multiple (scrollable) options, such as changing the sort type. Some of these possibilities and other possibilities will be referred to in more detail later.

Die Figuren 3a bis 3d zeigen Einsatzmöglichkeiten der vorliegenden Erfindung bei der Bildbetrachtung. Die Figur 3a zeigt beispielsweise, wie durch eine Berührung mit einer oder zwei Fingerspitzen 11, 12 einer Hand, ein ausgewähltes Bild 14 beeinflusst werden kann, und ein Beispiel für eine solche Beeinflussung könnte das Modifizieren der Helligkeit und des Kontrastes durch ein Zusammenspiel von Gesten sein, die mit der bzw. den Fingerspitzen 11, 12 durchgeführt werden. Die Helligkeit kann beispielsweise dadurch verstellt werden, dass eine einzige Fingerspitze den Bildschirm berührt und dann eine horizontale Bewegung durchgeführt wird, während eine vertikale Bewegung den Kontrast verstellt. Ein weiteres Beispiel wäre ein Auseinander- und Zusammenbringen der Fingerspitzen 11, 12, wenn das Programm so eingestellt ist, dass es entsprechend auf solche Gesten reagiert.The FIGS. 3a to 3d show possible uses of the present invention in the image viewing. The FIG. 3a shows, for example, how a selected image 14 can be influenced by a touch with one or two fingertips 11, 12 of a hand, and an example of such an influence could be the modification of the brightness and the contrast by an interaction of gestures that coincide with the fingertips 11, 12 are performed. For example, the brightness can be adjusted by touching a single fingertip on the screen and then performing a horizontal movement, while a vertical movement will adjust the contrast. Another example would be a disjointing and bringing together of the fingertips 11, 12 when the program is set to respond appropriately to such gestures.

Die Figur 3b zeigt, wie ein gewisser Bildschirmausschnitt mit Hilfe von zwei Fingerspitzen 11, 21 zweier Hände 10, 20 angewählt werden kann, was durch die rechteckige Umrisslinie 23 optisch dargestellt wird. Mit dem so hergestellten Bildausschnitt kann dann entsprechend den Wünschen des Betrachters durch geeignete Eingaben weiter verfahren werden. Der Umriss 23 kann beispielsweise durch eine gleichzeitige Berührung mit den beiden Fingerspitzen 11, 21 erzeugt werden. In den Figuren 3c und 3d ist dargestellt, wie eine Geste des gleichzeitigen Berührens eines Bildes mit den Fingerspitzen 11, 21 und dann des Auseinanderziehens dieser Fingerspitzen dazu führt, dass das Bild 14 vergrößert wird. Es ist anzumerken, dass entsprechende Befehlszuordnungen in der Gestenerkennungs-Software der Computer-Datenverarbeitungseinheit 4 hinterlegt und zugeordnet werden können, und dass es außerdem möglich ist, solche Zuordnungen zu ändern, beispielsweise durch die vorherige Auswahl einer bestimmten Interpretation am linken, kleinen Bildschirm 3 der Lightbox 1. Dies kann grundsätzlich für alle weiteren oder vorherigen Ausführungsbeispiele ebenso gelten.The FIG. 3b shows how a certain screen detail with the help of two fingertips 11, 21 of two hands 10, 20 can be selected, which is visually represented by the rectangular outline 23. With the so produced Image section can then be moved according to the wishes of the beholder by appropriate inputs. The outline 23 can be generated, for example, by a simultaneous contact with the two fingertips 11, 21. In the Figures 3c and 3d It is shown how a gesture of simultaneously touching an image with the fingertips 11, 21 and then pulling apart these fingertips results in enlarging the image 14. It should be noted that corresponding command assignments can be stored and assigned in the gesture recognition software of the computer data processing unit 4, and that it is also possible to change such assignments, for example, by preselecting a particular interpretation on the left small screen 3 of FIG Lightbox 1. This can basically apply to all other or previous embodiments as well.

Ein Vergrößerungs-Merkmal gemäß der vorliegenden Erfindung kann anhand der Figuren 4a bis 4c erläutert werden. Wenn beispielsweise ein Text 25 auf dem Bildschirm dargestellt wird, kann die Gestenerkennung eine Zuordnung umfassen, bei welcher eine erste Bildschirmberührung mit der Fingerspitze 21 einen Bereich in der Umgebung des Berührungspunktes vergrößert, der dann in der Art einer Bildschirmlupe mit dem Rand 29 dargestellt wird. Der Text 27 ist in diesem Bereich vergrößert dargestellt, und es besteht die Möglichkeit - siehe Figur 4c - mit einer zweiten Berührung parallel oder nachfolgend (und dann gleichzeitig) zur ersten Berührung eine Selektion im Text vorzunehmen, beispielsweise die Auswahl eines Hyperlinks, wenn die zweite Berührung innerhalb des vergrößerten Bereichs stattfindet. Mit der zweiten Berührung kann aber alternativ auch ein anderer Vorgang ausgelöst werden, beispielsweise das Markieren einer Bildstelle, die nicht unbedingt ein Textbaustein sein muss, sondern auch ein bestimmter Teil in einer anatomischen Darstellung sein kann.A magnifying feature according to the present invention can be understood from the FIGS. 4a to 4c be explained. For example, when a text 25 is displayed on the screen, the gesture recognition may include an association in which a first screen touch with the fingertip 21 enlarges an area in the vicinity of the touch point, which is then displayed in the manner of a magnifier with the edge 29. The text 27 is enlarged in this area, and there is a possibility - see Figure 4c to make a selection in the text with a second touch in parallel or subsequently (and then simultaneously) to the first touch, for example the selection of a hyperlink if the second touch occurs within the enlarged area. With the second touch, however, another process can alternatively be triggered, for example the marking of an image location, which does not necessarily have to be a text module, but can also be a specific part in an anatomical representation.

Eine Ausführungsvariante, bei der mit Hilfe eines erfindungsgemäßen Verfahrens ein Polygonzug erzeugt wird, ist in den Figuren 5a bis 5d zu sehen. Hier löst eine Folge von Berührungen die Auswahl bzw. Definition eines interessierenden Bereichs aus, beispielsweise einer Knochenstruktur in einem medizinischen Bild 14. Die erste Berührung 31 wird als Startpunkt für den interessierenden Bereich bzw. Polygonzug interpretiert, und solange der erste Punkt 31 aktiv bleibt (dazu kann, muss aber nicht unbedingt eine Fingerspitze auf dem ersten Punkt verbleiben) werden danach folgende Berührungen als weitere Punkte auf der Begrenzungslinie des interessierenden Bereiches interpretiert. Durch eine Rückkehr zum ersten Punkt über weitere Punkte 32, 33 usw. kann indiziert werden, dass der Bereich vollständig definiert ist; dies kann aber auch durch eine andere Berührungsfolge oder durch das Entfernen aller Berührungen geschehen. Am Ende ist dann der Bereich, der von Interesse ist, mit dem Polygonzug 35 markiert (Figur 5d).A variant in which a polygonal draft is generated by means of a method according to the invention is disclosed in US Pat FIGS. 5a to 5d to see. Here, a series of touches triggers the selection or definition of a region of interest, for example a bone structure in a medical image 14. The first Touch 31 is interpreted as the starting point for the region of interest or traverse, and as long as the first point 31 remains active (this may or may not necessarily require a fingertip to remain on the first point) then the following touches will be considered as further points on the boundary line of interest Area interpreted. By returning to the first point via further points 32, 33, etc., it can be indicated that the area is completely defined; but this can also be done by another touch sequence or by removing all touch. At the end, the region of interest is then marked with the polygon 35 ( FIG. 5d ).

Eine weitere Bildmanipulation wird anhand der Figuren 6a bis 6d aufgezeigt, nämlich das Spiegeln bzw. das Kippen eines Bildes 14 auf der Lightbox 1. Die beiden Figuren 6a und 6b zeigen, wie ein Bild 14 um eine horizontale Achse gekippt bzw. gespiegelt werden kann, indem ein virtueller Knopf 40, der separat für diese Geste bereitgestellt wird, mittels einer Fingerspitze von unten nach oben horizontal gekippt wird. Wenn die Verschiebung in horizontaler Richtung erfolgt, kann eine entsprechende Verkippung um eine vertikale Achse stattfinden. Nach dem Durchführen des Kippvorgangs verbleibt der Knopf an der verschobenen Stelle 40', so dass er auch als Anzeige dafür dienen kann, dass das Bild gekippt bzw. gespiegelt worden ist.Another image manipulation is based on the FIGS. 6a to 6d shown, namely the mirroring or tilting of an image 14 on the lightbox 1. The two Figures 6a and 6b show how an image 14 can be tilted about a horizontal axis by tilting a virtual button 40 provided separately for this gesture horizontally from the bottom to the top by means of a fingertip. If the displacement is in the horizontal direction, a corresponding tilt can take place about a vertical axis. After performing the tilting operation, the button remains at the displaced location 40 ', so that it can also serve as an indication that the image has been tilted or mirrored.

Eine zweihändige Kipp- bzw. Spiegelungsgeste ist in den Figuren 6c und 6d aufgezeigt. Wenn die beiden Fingerspitzen 11 und 21 der Hände 10 und 20 bei einer Bildberührung aufeinander zu und aneinander vorbei geschoben werden, wird dies bei dieser Ausführungsform als ein Befehl interpretiert, das Bild 14 um eine vertikale Achse zu kippen bzw. zu spiegeln. Natürlich ist durch eine entsprechende, gegenläufige Fingerbewegung in vertikaler Richtung auch ein Spiegeln um eine horizontale Achse möglich.A two-handed tilting or mirroring gesture is in the FIGS. 6c and 6d demonstrated. When the two fingertips 11 and 21 of the hands 10 and 20 are pushed towards and past each other during an image touch, this embodiment interprets this as a command to flip the image 14 about a vertical axis. Of course, a mirroring about a horizontal axis is possible by a corresponding, opposite finger movement in the vertical direction.

Die in den Figuren 7a und 7b dargestellte Eingabe betrifft das Aufrufen eines ansonsten versteckten Menüfeldes 45 durch eine erste Fingerspitzenberührung 11 (Figur 7a), worauf dann mit einer zweiten Berührung eine Auswahl in dem aufgeklappten Menü erfolgen kann, beispielsweise hier die Auswahl des mittleren Befehlsfeldes 46.The in the FIGS. 7a and 7b The input shown concerns the invocation of an otherwise hidden menu field 45 by a first fingertip touch 11 (FIG. Figure 7a ), whereupon with a second touch a selection in the unfolded menu can be done, for example, here the selection of the middle command field 46th

Die Ausführungsvariante gemäß den Figuren 8a bis 8c betrifft die Eingabe von Zeichen über eine Bildschirmtastatur. Es können mehr Tasteneingaben getätigt werden als bei den üblichen Tastaturen mit 101 Tasten, beispielsweise kann die Eingabe aller 191 Zeichen gemäß IS08859-1 unterstützt werden, und zwar dadurch, dass einer virtuellen Taste mehrere Zeichen zugeordnet werden. Die Zeichen werden unter Verwendung von Ähnlichkeitskriterien zugeordnet, beispielsweise sind dem Zeichen E mehrere andere E-Zeichen mit unterschiedlichen Akzenten zugeordnet. Nachdem das Zeichen E auf dem Tastaturabschnitt 52 ausgewählt wird, werden in einem zusätzlichen Tastaturabschnitt 54 verschiedene alternative Zeichen angeboten (Figur 8b), während das Zeichen E in seiner Grundform schon in die Kontrollausgabe 50 geschrieben wird. Wenn dann, wie in Figur 8c gezeigt, ein Sonderzeichen E mit einem Akzent aus der Reihe 54 ausgewählt wird, wird das zuletzt eingegebene Zeichen durch dieses Sonderzeichen ersetzt.The embodiment according to the FIGS. 8a to 8c concerns the input of characters via an on-screen keyboard. More keystrokes can be made than with the standard 101-key keypads, for example, the input of all 191 characters according to IS08859-1 can be supported by assigning multiple characters to a virtual key. The characters are assigned using similarity criteria, for example, the character E is assigned several other E characters with different accents. After the character E is selected on the keyboard portion 52, an additional keyboard portion 54 offers various alternative characters ( FIG. 8b ), while the character E in its basic form is already written in the control output 50. If then, as in FIG. 8c If a special character E with an accent from row 54 is selected, the last character entered is replaced by this special character.

Eine Scrollbar-Bedienung bzw. -Auswahl unter Verwendung der vorliegenden Erfindung wird anhand der Figuren 9a bis 9d erläutert. Mit dem Bezugszeichen 60 ist in diesen Figuren eine alphabetische Namensliste gezeigt, die durch eine Scrollbar 61 durchgeblättert bzw. von oben nach unten und umgekehrt verschoben werden kann. Dazu umfasst die Scrollbar 61 einen Scrollpfeil bzw. Scrollbereich 62. In Figur 9d ist noch die Liste 60 erweitert, nämlich um eine Ziffernkolonne 63. Ein Scrollen durch die Liste 60 kann erfindungsgemäß durch die Berührung der Scrollbar 61 im Pfeilbereich 62 erfolgen, und indem die Fingerspitze 21 nach unten geführt wird, wird nach unten in der Liste 60 weitergeblättert, wie den Figuren 9a und 9b zu entnehmen ist. Ein Ziehen der Fingerspitze 21 mit Berührung am Bildschirm führt zu diesem Vorgang. Man kann aber auch ein Element oder einen bestimmten Bereich auswählen, indem man, wie in Figur 9c gezeigt, mit dem zweiten Zeigerfingerglied 23 eine flächenmäßige Berührung auf der Scrollbar 61 durchführt. Wenn durch eine solche flächenmäßige Berührung eine bestimmte Stelle am Pfeil 62 berührt wird, springt die Liste zu einer entsprechenden relativen Position und der ausgewählte Bereich wird angezeigt. Bei einer weiteren Ausführungsform kann durch eine andere als eine punktförmige Auswahl auch die Anzeige- oder Scroll-Reihenfolge geändert werden. Hier ist beispielsweise in Figur 9d gezeigt, dass eine flächenmäßige Berührung mit dem zweiten Fingerglied 23 dazu führt, dass eine zweite Liste 63 geöffnet wird, auf der durch ein Auf- und Abbewegen des Fingers gescrollt werden kann.Scroll bar operation using the present invention will be described with reference to FIGS FIGS. 9a to 9d explained. With the reference numeral 60, an alphabetical list of names is shown in these figures, which can be scrolled through a scroll bar 61 or moved from top to bottom and vice versa. For this purpose, the scroll bar 61 comprises a scroll arrow or scroll area 62 FIG. 9d is still the list 60 extended, namely a number column 63. Scrolling through the list 60 can be done according to the invention by touching the scrollbar 61 in the arrow area 62, and by the fingertip 21 is guided downward, is scrolled down in the list 60 like that FIGS. 9a and 9b can be seen. Pulling the fingertip 21 with touch on the screen leads to this process. You can also select an element or a specific area by using, as in FIG. 9c shown, with the second pointer finger member 23 performs a surface contact on the scroll bar 61. When a particular location on arrow 62 is touched by such areal contact, the list jumps to a corresponding relative position and the selected one Area is displayed. In a further embodiment, the display or scroll order may be changed by other than a punctiform selection. Here is for example in FIG. 9d shown that a surface contact with the second phalanx 23 results in that a second list 63 is opened, can be scrolled by moving up and down of the finger.

Eine Erfindungsvariante, bei der Diagramme manipuliert werden, ist in den Figuren 10a bis 10c gezeigt. Das Diagramm 70, hier ein EKG eines Patienten weist beispielsweise die Spitze 72 auf (Figur 10a). Will nun ein Verwender Genaueres über den Wert an dieser Spitze 72 erfahren, kann er - wie in Figur 10b gezeigt - den Punkt 72 durch das Einkreisen mit seiner Fingerspitze 21 auswählen, worauf zur Bestätigung beispielsweise der Auswahlkreis 74 erscheint. Auf diese Auswahl hin kann die Computer-Datenverarbeitungseinheit nunmehr auf den Diagrammachsen 74, 76 die Werte ausgeben, welche die Spitze 72 betreffen, hier 0,5 auf der Achse 74 und 54 auf der Achse 76. Ähnliche Auswertungen sind für andere Messungen oder beispielsweise für Eigenschaften wie Farbwerte des ausgewählten Punktes oder einer ausgewählten Fläche möglich.A variant of the invention in which diagrams are manipulated, is in the FIGS. 10a to 10c shown. The diagram 70, here an ECG of a patient has, for example, the tip 72 ( FIG. 10a ). If a user wants to know more about the value at this point, he can - as in FIG. 10b - select the point 72 by the circling with his fingertip 21, whereupon, for example, the selection circuit 74 appears to confirm. In response to this selection, the computer data processing unit can now output on the diagram axes 74, 76 the values concerning the tip 72, here 0.5 on the axis 74 and 54 on the axis 76. Similar evaluations are for other measurements or for example Properties such as color values of the selected point or a selected surface are possible.

Auch die Manipulation von Diagrammen ist als Ausführungsbeispiel der Erfindung möglich. Ein Diagramm kann beispielsweise, wie in den Figuren 11a und 11 b gezeigt, durch zwei Fingerspitzenberührungen skaliert werden, wenn beispielsweise die Fingerspitze 11 den Ursprung berührt und dort verbleibt und die Fingerspitze 21 einen Punkt auf der Achse 76 nach rechts verschiebt, so dass eine breiter skalierte Achse 76' entsteht. Die Figuren 11 c und 11 d zeigen zwei verschiedene Möglichkeiten, einen Diagrammbereich auszuwählen. In Figur 11c wird der Diagrammbereich durch zwei Fingerspitzenberührungen 11, 21 auf der unteren Achse gewählt und die Höhe des Auswahlbereiches 77 wird automatisch so bestimmt, dass sie die wichtigen Diagrammteile umfasst. Eine Auswahl bei der die Höhe selbst gewählt wird, ist für den Bereich 78 in Figur 11d zu sehen, wobei die Fingerspitzenberührungen 11 und 21 gegenüberliegende Ecken eines Rechtecksbereiches 78 definieren. Natürlich können auch schon vorhandene Auswahlen neu eingestellt werden, wie z.B. der Auswahlbereich 79 (Figur 11e), der durch ein Verschieben der Fingerspitze 11 in den Bereich 79' geändert wird.The manipulation of diagrams is possible as an embodiment of the invention. For example, as in the FIGS. 11a and 11b for example, when the fingertip 11 touches and remains at the origin and the fingertip 21 shifts a point on the axis 76 to the right to produce a wider scaled axis 76 '. The FIGS. 11c and 11d show two different ways to select a chart area. In FIG. 11c For example, the chart area is selected by two fingertip touches 11, 21 on the bottom axis, and the height of the selection area 77 is automatically determined to include the important chart portions. A selection in which the height itself is chosen is for the range 78 in FIG. 11d to see, with the fingertip contacts 11 and 21 define opposite corners of a rectangular area 78. Of course, already existing Selections, such as the selection area 79 ( FIG. 11e ), which is changed by moving the fingertip 11 into the area 79 '.

Die Figur 12 zeigt, wie unter Verwendung der vorliegenden Erfindung einer Lightbox bzw. deren Datenverarbeitungseinheit mitgeteilt werden kann, ob der Verwender Rechts- oder Linkshänder ist. Ein flächenhaftes Auflegen der Hand 20 auf einen Bildschirmbereich 17 bewirkt mehrere Berührungen, und durch eine Erfassung der Größe unterschiedlicher Berührungspunkte sowie der Abstände zwischen den Berührungen kann - beispielsweise durch einen Modellvergleich - ermittelt werden, ob es sich um eine rechte oder eine linke Hand handelt. Hiernach kann die Benutzerschnittstelle bzw. die Anzeige entsprechend so eingestellt werden, dass sie für den jeweiligen Typ bequem und optimal handhabbar ist. Dass es sich hierbei um eine solche Feststellung handelt, kann von der Datenverarbeitungseinheit bei einer Ausführungsform beispielsweise dann festgestellt werden, wenn eine Handauflage über eine gewisse Zeit erfolgt.The FIG. 12 shows how using the present invention of a lightbox or their data processing unit can be informed whether the user is right- or left-handed. A planar application of the hand 20 on a screen area 17 causes multiple touches, and by detecting the size of different points of contact and the distances between the touches can - for example, by a model comparison - to determine whether it is a right or a left hand. After that, the user interface or the display can be adjusted accordingly so that it is convenient and optimally manageable for the respective type. The fact that this is such a determination can be determined by the data processing unit in one embodiment, for example, when a hand rest takes place over a certain period of time.

Es ist grundsätzlich auch möglich, mit Hilfe des erfindungsgemäßen Verfahrens das Bildmaterial bzw. die Bilddatensätze zu ergänzen, insbesondere Objekte oder Hilfslinien einzuzeichnen. Die Figuren 13a bis 13c zeigen Beispiele hierfür. In einem hierfür eingestellten Modus kann der Benutzer zwei Fingerspitzen 21, 22 mit dem Bildschirm in Berührung bringen, und durch diese Geste wird eine Linie 80 gezeichnet. Wenn der Verwender nun - wie in Figur 13b - die Fingerspitzen 21, 22 weiter auseinander nimmt, wird die rechtwinklig zur Fingerspitzenverbindung definierte Linie gestreckt, die Linienlänge wird also relativ zum Fingerspitzenabstand definiert. In gleicher Weise kann in einem weiteren Modus, wie in Figur 13c dargestellt, ein Lineal 82 erzeugt werden, dessen Skalierung vom Abstand der Fingerspitzen 21, 22 abhängt.It is also possible in principle to supplement the image material or the image data records with the aid of the method according to the invention, in particular to draw objects or auxiliary lines. The FIGS. 13a to 13c show examples of this. In a mode set for this purpose, the user can bring two fingertips 21, 22 into contact with the screen, and a line 80 is drawn by this gesture. If the user now - as in FIG. 13b - The fingertips 21, 22 further apart, the right angle to the fingertip connection defined line is stretched, the line length is thus defined relative to the fingertip distance. Similarly, in another mode, as in FIG. 13c shown, a ruler 82 are generated whose scale depends on the distance of the fingertips 21, 22.

Bei diesem Beispiel wird auch deutlich, dass bei der vorliegenden Erfindung ganz allgemein die Bedeutung der Eingabegesten von einem vorher zu wählenden oder sich selbst durch die Gesten ergebenden bzw. aus der Geste identifizierbaren Eingabemodus abhängen kann.In this example, it will also be appreciated that in the present invention, quite generally, the meaning of the input gesture may depend on an input mode to be previously selected or even gesture-identifiable or gesture-identifiable.

Zwei- und dreidimensionale Bildmanipulationen, wie sie mit Hilfe der vorliegenden Erfindung ausführbar sind, sind beispielhaft in den Figuren 14a bis 14h aufgezeigt. Durch die Verwendung multipler Berührungen kann ein Objekt manipuliert werden, das als dreidimensionales Modell oder dreidimensionale Rekonstruktion eines Patientenscans auf dem Bildschirm angezeigt wird.Two- and three-dimensional image manipulations, as can be carried out with the aid of the present invention, are exemplary in the FIGS. 14a to 14h demonstrated. Through the use of multiple touches, an object can be manipulated, which is displayed on the screen as a three-dimensional model or three-dimensional reconstruction of a patient scan.

So ist in Figur 14a gezeigt wie eine Schnittebene an einem Gehirn 84 bestimmt und angezeigt werden kann. Die Schnittebene 88 ist eine Ebene, auf die der Pfeil 85 zeigt. Der Pfeil 85 wird durch zwei Fingerspitzenberührungen 21, 22 erzeugt, und seine Länge hängt von dem Abstand der Fingerspitzen 21, 22 ab. Er führt senkrecht auf die Ebene 88. Werden nun die Fingerspitzen 21, 22 weiter auseinander bewegt oder näher zueinander gebracht, ändert sich die Lage der Schnittebene 88, und ein entsprechendes Schnittbild kann nebenan zusätzlich dargestellt werden, wie mit dem Bezugszeichen 86 angedeutet ist. Durch das Bewegen der Fingerspitzen 21, 22 kann also die Darstellung 86 als orthogonale Schnittebene durch verschiedene Schnittebenen hindurch "gescrollt" werden.So is in Figure 14a shown how a cutting plane on a brain 84 can be determined and displayed. The cutting plane 88 is a plane pointed by the arrow 85. The arrow 85 is generated by two fingertip contacts 21, 22, and its length depends on the distance of the fingertips 21, 22. It leads perpendicular to the plane 88. Now, if the fingertips 21, 22 moved further apart or brought closer to each other, the position of the cutting plane 88 changes, and a corresponding sectional image can be additionally displayed next to, as indicated by the reference numeral 86. By moving the fingertips 21, 22, therefore, the representation 86 can be "scrolled" as an orthogonal sectional plane through different cutting planes.

Die Figuren 14b und 14c zeigen, wie durch die Verschiebung zweier Berührungen in einer Drehbewegung ein dreidimensionales Objekt um eine Achse rotiert wird, die parallel zur Blickrichtung liegt und auf der Linie zwischen den beiden Berührungen zentriert wird.The Figures 14b and 14c show how the displacement of two contacts in a rotary motion rotates a three-dimensional object about an axis parallel to the line of sight and centered on the line between the two contacts.

Wenn, wie in den Figuren 14d und 14e dargestellt ist, zwei Berührungen in derselben Richtung verschoben bzw. gezogen werden, wird das 3D-Objekt 84 um eine Achse gedreht, die senkrecht zur Blickrichtung liegt, und zwar parallel zur Linie zwischen den beiden Punkten und zentriert auf der Mitte des 3D-Objekts. Die Figur 14f zeigt, wie zwei Zwei-Finger-Linien 87, 87' verwendet werden können, um ähnlich wie bei Figur 14a Schnittebenen zu erzeugen, wobei ein dreidimensionaler Objekt-Keil definiert werden kann.If, as in the Figures 14d and 14e is shown, two touches are moved in the same direction, the 3D object 84 is rotated about an axis which is perpendicular to the viewing direction, parallel to the line between the two points and centered on the center of the 3D object. The FIG. 14f shows how two two-finger lines 87, 87 'can be used, similar to Figure 14a Create cutting planes, where a three-dimensional object wedge can be defined.

Die Figuren 14g und 14h zeigen schließlich, dass die beschriebenen Dreh- bzw. Rotationsvorgänge auch auf zweidimensionale Darstellungen angewendet werden können, die aus einem dreidimensionalen Datensatz stammen oder einander in sonstiger Weise zugeordnet worden sind. Mit einer Bewegung einer Zwei-Finger-Berührung parallel zu einer Seite hin, wird die Darstellung 89 um 90 Grad vom Zustand der Figur 14g zu dem Zustand der Figur 14h gedreht. In solcher Weise können Datensatzausrichtungen zwischen sagittal, axial und koronar verändert werden. Wenn beispielsweise ein sagittales Bild vorliegt, würde eine Positionierung der Fingerberührungen auf dem Oberteil des Bildes und ein Ziehen der Berührung nach unten die Ausrichtung zu einer axialen Ausrichtung verhindern.The Figures 14g and 14h show, finally, that the rotation or rotation processes described can also be applied to two-dimensional representations that originate from a three-dimensional data set or have been assigned to each other in some other way. With a movement of a two-finger contact parallel to one side, the representation 89 is 90 degrees from the state of Figure 14g to the state of Figure 14h turned. In this way, dataset orientations can be changed between sagittal, axial and coronal. For example, if there is a sagittal image, positioning the finger touches on the top of the image and pulling the contact downwards would prevent alignment with an axial alignment.

Ein weiteres Anwendungsfeld der Erfindung betrifft das sogenannte "Pairing", d.h. das Zuordnen zweier oder mehrerer Objektpunkte. Beispielsweise bei der Registrierung beim Fusionieren oder beim Matching von zwei verschiedenen Bildern können Einzelpunkte aus beiden Bildern als derselbe Objektpunkt identifiziert und zugeordnet werden, und so zeigen die Figuren 15a und 15b, wie auf den Bildern 92 und 94 zunächst der Punkt 90 mit einer Fingerspitze markiert wird und dann der entsprechende Punkt 96 auf dem anderen Bild. So genannte Image-Fusion-Techniken können diese Randbedingungen hilfsweise verwenden. Die Figuren 15c und 15d zeigen eine weitere Ausführungsform, bei der zunächst ein GUI-Element (Graphic User Interface-Element) 98 aus einer Auswahl 97 durch eine Fingerspitzenberührung gewählt wird, um ein Label auszuwählen, wonach die Fingerspitzenberührung mit der anderen Hand 10 dann das Label 99 an der gewünschten Stelle anbringt.Another field of application of the invention relates to the so-called "pairing", ie the assignment of two or more object points. For example, when registering when merging or matching two different images, individual points from both images can be identified and assigned as the same object point, and so on FIGS. 15a and 15b in which, on the pictures 92 and 94, first the point 90 is marked with a fingertip and then the corresponding point 96 on the other picture. So-called image fusion techniques can use these boundary conditions in the alternative. The FIGS. 15c and 15d FIG. 12 shows another embodiment in which first a GUI (Graphic User Interface) element 98 is selected from a selection 97 by a fingertip touch to select a label, after which the fingertip contact with the other hand 10 then labels 99 at the desired one Place attach.

Weil beim versehentlichen Löschen mancher Bilder Informationen verloren gehen können, kann eine erfindungsgemäß ausgestaltete Applikation auch hier mehr Sicherheit bieten. Beispielsweise zeigt die Figur 16, wie man eine Löschbestätigung für das Bild 100 anfordert und erfindungsgemäß auslöst, nämlich durch eine zweihändige Berührung der Schaltflächen 104 und 106 nach einer Anfrage 102. Die Figur 17 zeigt einen Anwendungsfall, bei dem ein reales Objekt vermessen werden kann, beispielsweise das Zeigegerät 110, das an dem Bildschirmabschnitt 19 gebracht wird. Wenn ein entsprechender Modus eingestellt wird, oder das Objekt 110 für längere Zeit auf dem Bildschirm verbleibt, kann dadurch ausgelöst werden, dass die Berührungsfläche vermessen wird, bzw. die Anzahl der Berührungen gezählt wird und entsprechende Objektabmessungen sind erfassbar.Because information can be lost when accidentally deleting some images, an application designed according to the invention can offer more security here as well. For example, the shows FIG. 16 how to request an erase confirmation for the image 100 and triggers according to the invention, namely by a two-handed touch of the buttons 104 and 106 according to a request 102. The FIG. 17 shows an application case in which a real object can be measured, for example, the pointing device 110, which on the screen portion 19th is brought. If a corresponding mode is set or the object 110 remains on the screen for a longer period of time, it can be triggered by measuring the contact area or counting the number of contacts and corresponding object dimensions can be detected.

Die Figuren 18a und 18b zeigen, wie mit Hilfe entsprechender Gesten ein geometrisches Objekt, hier ein Kreis am Bildschirm erzeugt werden kann. In Figur 18a wird der Kreis 112 dadurch erzeugt, dass eine Fingerspitze auf den Mittelpunkt 114 und eine Fingerspitze auf einen Umfangspunkt 116 deutet, während in Figur 18b ein Kreis 120 durch drei Umfangspunkte 122, 123 und 124 eingegeben wird.The Figures 18a and 18b show how a geometric object, here a circle on the screen, can be generated with the aid of corresponding gestures. In FIG. 18a Circle 112 is created by pointing a fingertip to midpoint 114 and a fingertip to a perimeter point 116, while in FIG FIG. 18b a circle 120 is entered through three perimeter points 122, 123, and 124.

Auch medizinische Implantate können in ihrer Darstellung auf dem Bildschirm manipuliert werden, wie beispielsweise die Figur 19 schematisch zeigt. Das Implantat 130 kann zum Beispiel durch Vergrößerungs-, Verkleinerungs- oder Dreh-Gesten, wie sie oben schon beschrieben worden sind, verändert werden. Wenn auf dem Bildschirm andere Bilddaten zur Verfügung stehen, z.B. Anatomie-Strukturen, in welches das Implantat eingebracht werden kann, kann schon die geeignete Implantatgröße vorab am Bildschirm geplant werden. Es ist dann auch möglich, den Computer das angepasste Implantat mit verschiedenen hinterlegten und zur Verfügung stehenden Implantatgrößen vergleichen zu lassen. Wenn ein geeignetes Implantat schon zur Verfügung steht und die Datenbank entsprechendes ausgibt, kann genau dieses Implantat gewählt oder bestellt werden, oder aber notwendige Anpassungen des nächst größeren Implantats werden schon berechnet und ausgegeben.Also medical implants can be manipulated in their representation on the screen, such as the FIG. 19 schematically shows. The implant 130 may be altered, for example, by enlargement, reduction, or rotation gestures, as described above. If other image data is available on the screen, eg anatomy structures, into which the implant can be inserted, the appropriate implant size can already be planned in advance on the screen. It is then also possible to let the computer compare the adapted implant with different stored and available implant sizes. If a suitable implant is already available and the database outputs the corresponding, exactly this implant can be chosen or ordered, or necessary adjustments of the next larger implant are already calculated and output.

Anhand der Figuren 20a bis 20c wird aufgezeigt, wie gemäß der Erfindung eine Geste unterschiedlich und abhängig von dem Teil des Bildes interpretiert werden kann, auf den die Geste angewendet wird. Das dargestellte Bild weist einen hellen Kopfumriss 134 und einen dunklen Bereich 132 auf, und wenn mit dem Finger auf den hellen Bereich gezeigt wird, kann diese Geste beispielsweise als ein Befehl zum Scrollen durch verschiedene Schnittebenen aufgefasst werden, wenn der Finger über den hellen Bereich gezogen wird (Figur 20b), z.B. wenn der Finger mit seiner Spitze 21 aber auf dem dunklen Bereich aufgesetzt wird, wird diese Geste als ein Befehl zum Verschieben des Bildes interpretiert, wie dies in Figur 20c dargestellt ist.Based on FIGS. 20a to 20c It is shown how according to the invention a gesture can be interpreted differently and depending on the part of the image to which the gesture is applied. The displayed image has a bright head outline 134 and a dark area 132, and when the finger is pointed at the bright area, this gesture may be considered, for example, as a command to scroll through different cutting planes as the finger is drawn across the light area becomes ( FIG. 20b ), eg if the finger with his But tip 21 is placed on the dark area, this gesture is interpreted as a command to move the image, as in FIG. 20c is shown.

Manchmal müssen in Operationssälen gewisse Zeiten eingehalten werden, speziell gewisse Wartezeiten, wenn beispielsweise ein Material aushärten muss. Um diese Wartezeiten messen zu können, kann in einem geeigneten Modus die Gestenerkennung zur Darstellung und zum Einstellen einer Uhr bzw. eines Countdowns genutzt werden, und in Figur 21 ist dargestellt, dass in diesem Modus beispielsweise eine Berührung mit zwei Fingern eine Countdown-Uhr 140 auf dem Monitor erscheinen lässt. Wird dann der Zeigefinger um den Daumen herum gedreht, führt dies zu einer Verschiebung des Zeigers 142, und der Countdown kann mit dieser voreingestellten Zeit beginnen.Sometimes in operating theaters certain times have to be kept, especially certain waiting times, when, for example, a material has to harden. In order to be able to measure these waiting times, in a suitable mode the gesture recognition can be used to display and set a clock or a countdown, and in FIG. 21 For example, in this mode, a two-finger touch will make a countdown clock 140 appear on the monitor. Then, when the index finger is rotated around the thumb, this results in a shift of the pointer 142, and the countdown can start at this preset time.

Eine weitere Anwendung ist eine Signatur, die durch Mehrfachberührung des Bildschirms eingegeben wird. Wenn gleichzeitig oder aufeinander folgend mit zwei Händen und durch entsprechende Gesten eine Linienfolge eingegeben wird, kann dies zu einer sehr eindeutigen Identifizierung des Verwenders genutzt werden.Another application is a signature that is entered by multiple touch of the screen. If a line sequence is entered simultaneously or consecutively with two hands and corresponding gestures, this can be used for a very unambiguous identification of the user.

Die Ausführungsform, die anhand der Figuren 23a bis 23c erläutert werden soll, betrifft eine Mehrfachauswahl von Bildelementen bzw. Bildobjekten oder den Umgang mit solchen Elementen oder Objekten. In der Figur 23a ist eine Anzahl von Bildobjekten, nämlich kleineren Bildern 150 dargestellt, und mit Hilfe von zwei Berührungen wird in einem entsprechenden Auswahlmodus das erste Bild 152 und das letzte Bild 154 einer auszuwählenden Bildfolge angewählt. Die erste Berührung mit der Hand 10 beim Bild 152 bleibt dabei solange aktiv bis das Bild 154 ebenfalls angewählt worden ist. Die Vielzahl von Bildern kann nun unterschiedlichen Bearbeitungen zugeführt oder in unterschiedlicher Weise verwendet werden. Eine Verwendung ist in Figur 23b dargestellt. Wenn nämlich vom Zustand der Figur 23a ausgehend eine Verkleinerungs- bzw. Zoom-In-Geste mit den beiden Händen gemacht wird, wobei beispielsweise die beiden Fingerspitzen aufeinander zu geführt werden, während sie den Bildschirm berühren, kann eine komprimierte Datei erzeugt werden, die alle ausgewählten einzelnen Darstellungen umfasst und die in Figur 23b mit dem Bezugszeichen 156 bezeichnet ist. Eine weitere, in Figur 23c dargestellte Anwendung ist beispielsweise das Abspielen eines Films oder einer Bildfolge aus ausgewählten Dateien, wobei dies ebenfalls durch eine entsprechende Geste oder durch das Aktivieren eines Abspiel-Knopfes geschehen kann.The embodiment based on the FIGS. 23a to 23c is to be explained, concerns a multiple selection of picture elements or image objects or the handling of such elements or objects. In the FIG. 23a is shown a number of image objects, namely smaller images 150, and with the aid of two touches, the first image 152 and the last image 154 of an image sequence to be selected are selected in a corresponding selection mode. The first contact with the hand 10 in the image 152 remains active until the image 154 has also been selected. The plurality of images can now be fed to different edits or used in different ways. One use is in FIG. 23b shown. Namely, if from the state of FIG. 23a Starting from a zoom in gesture with both hands, for example, passing the two fingertips towards each other while touching the screen, a compressed file can be generated that includes all the selected individual representations and that in FIG. 23b designated by reference numeral 156. Another, in FIG. 23c The application shown is, for example, the playback of a movie or a sequence of selected files, and this can also be done by a corresponding gesture or by activating a play button.

Claims (31)

Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs, unter Verwendung eines Anzeigegeräts (1) mit mindestens einem Bildschirm (2, 3), wobei - die Bilddaten durch eine im Anzeigegerät (1) integrierte Computer-Datenverarbeitungseinheit (4) verarbeitet werden, um Bildausgaben (14) zu erzeugen und/oder die Bilddaten zu ändern bzw. zu bestätigen, - die Bilddaten durch Eingaben am Bildschirm (2, 3) selbst manipuliert, erzeugt oder aufgerufen werden, und wobei - die Eingaben mit Hilfe der Datenverarbeitungseinheit (4) über eine Gestenerkennung identifiziert werden, wobei die Gesten per Hand oder mit Gestenerzeugungsgeräten erzeugt werden. Method for displaying and / or processing or processing image data of medical or medical technology origin, using a display device (1) with at least one screen (2, 3), wherein the image data is processed by a computer data processing unit (4) integrated in the display device (1) in order to generate image outputs (14) and / or to change or confirm the image data, - The image data by inputs on the screen (2, 3) itself manipulated, created or called, and wherein - The inputs using the data processing unit (4) are identified by a gesture recognition, the gestures are generated by hand or with gesture-generating devices. Verfahren nach Anspruch 1, bei dem die Eingaben Steuerungseingaben für die Bilddaten-Darstellung am Bildschirm (2, 3) sind.Method according to Claim 1, in which the inputs are control inputs for the image data display on the screen (2, 3). Verfahren nach Anspruch 1 oder 2, bei dem die Eingaben an einem berührungsempfindlichen Bildschirm (2, 3) oder einem Bildschirm (2, 3) erfolgen, der Präsenzen in der Nähe seiner Oberfläche feststellen kann.Method according to Claim 1 or 2, in which the inputs are made on a touch-sensitive screen (2, 3) or a screen (2, 3) which can detect presence in the vicinity of its surface. Verfahren nach einem der Ansprüche 1 bis 3, bei dem der Bildschirm (2, 3) mehrere gleichzeitige Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche identifizieren kann.Method according to one of Claims 1 to 3, in which the screen (2, 3) can identify several simultaneous touches of the screen surface or presences on the screen surface. Verfahren nach einem der Ansprüche 1 bis 4, bei dem bei der Gestenerkennung eine definierte Abfolge mehrerer Eingaben, gleichzeitige Eingaben an mehreren Bildschirmstellen oder einzelne Eingaben über einen gewissen Zeitraum als Eingabegesten identifiziert werden.Method according to one of claims 1 to 4, wherein in the gesture recognition a defined sequence of multiple inputs, simultaneous inputs to multiple screen locations or individual inputs over a certain period of time are identified as input gestures. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Eingabegesten punkt- oder flächenförmige Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche sind, wobei insbesondere zwischen diesen Eingaben unterschieden wird.Method according to one of Claims 1 to 5, in which the input gestures are point-shaped or planar contacts of the screen surface or presences on the screen surface, wherein a distinction is made in particular between these inputs. Verfahren nach einem der Ansprüche 1 bis 6, bei dem die Bildausgabe und/oder die Eingabe auf mindestens zwei nebeneinander angeordneten Bildschirmen (2, 3) erfolgt, wobei insbesondere einer dem Aufrufen bzw. der Auswahl von Bilddaten bzw. Bilddatensätzen und ein anderer der Manipulation oder Erzeugung von Bilddaten bzw. Bilddatensätzen dient.Method according to one of claims 1 to 6, wherein the image output and / or the input on at least two juxtaposed screens (2, 3) takes place, in particular one of the call or the selection of image data or image data sets and another of the manipulation or generating image data or image data sets. Verfahren nach einem der Ansprüche 1 bis 7, bei dem Eingaben durch flächenförmige Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche als andere Eingabebefehle interpretiert werden als Eingaben durch punktförmige Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche, insbesondere bei Eingaben an demselben Eingabefeld.Method according to one of claims 1 to 7, in which inputs are interpreted by surface-shaped touches of the screen surface or presences on the screen surface as other input commands as inputs by punctiform touches of the screen surface or presences on the screen surface, in particular for inputs to the same input field. Verfahren nach einem der Ansprüche 1 bis 8, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche zur Steuerung von Bildeigenschaften, insbesondere des Zoomfaktors, der Helligkeit, des Kontrastes oder von Auswahlfeldern (21) verwendet werden.Method according to one of Claims 1 to 8, in which input gestures, in particular inputs with several or planar contacts of the screen surface or presences on the screen surface are used for controlling image properties, in particular the zoom factor, the brightness, the contrast or selection fields (21). Verfahren nach einem der Ansprüche 1 bis 9, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche zur Vergrößerung eines Bildbereichs (27) oder Bildschirmbereichs verwendet werden.Method according to one of Claims 1 to 9, in which input gestures, in particular inputs with several or planar contacts of the screen surface or presences on the screen surface are used to enlarge an image area (27) or screen area. Verfahren nach einem der Ansprüche 1 bis 10, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben zur Erzeugung eines Polygonzugs (35), insbesondere zur Abgrenzung bzw. Definition von Bildbereichen verwendet werden.Method according to one of Claims 1 to 10, in which input gestures, in particular inputs with several or planar contacts of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs for generating a polygonal line (35), in particular for demarcation or definition of image areas be used. Verfahren nach einem der Ansprüche 1 bis 11, bei dem Eingabegesten, insbesondere linienförmige Eingabegesten, speziell mehrere gleichzeitig erfolgende lineare Eingabegesten zum Spiegeln eines Bildes verwendet werden.Method according to one of Claims 1 to 11, in which input gauges, in particular linear input gauges, in particular a plurality of simultaneously occurring linear input gauges are used for mirroring an image. Verfahren nach einem der Ansprüche 1 bis 12, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben zum Aufrufen eines versteckten Eingabefelds (45) und zur Auswahl eines Eingabebefehls (46) in dem Feld verwendet werden.Method according to one of Claims 1 to 12, in which input gestures, in particular inputs with several or planar touches of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs for calling a hidden input field (45) and for selecting an input command (46). be used in the field. Verfahren nach einem der Ansprüche 1 bis 13, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben zum Aufrufen und/oder Bedienen einer Bildschirmtastatur (52) verwendet werden, wobei insbesondere Spezialtasten (54) aufgerufen und betätigt werden können.Method according to one of Claims 1 to 13, in which input gestures, in particular inputs with several or planar contacts of the screen surface or presences on the screen surface or simultaneous or successive point inputs for calling and / or operating a screen keyboard (52) are used, in particular Special keys (54) can be called and operated. Verfahren nach einem der Ansprüche 1 bis 14, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben zur Betätigung von Scrollleisten (61) mit unterschiedlichen Scrollgeschwindigkeiten oder Auswahllistenkriterien je nach Eingabetyp verwendet werden.Method according to one of Claims 1 to 14, in which input gestures, in particular inputs with several or planar touches of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs for actuating scroll bars (61) with different scroll speeds or selection list criteria are used depending on the input type become. Verfahren nach einem der Ansprüche 1 bis 15, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben zur Auswahl eines Punktes oder Bereichs in einem Linien- oder Flächendiagramm verwendet werden, wobei daraufhin insbesondere: - die Koordinaten des Punktes (72) oder der Fläche an den Diagrammachsen (74, 76) oder an einer zugeordneten Bildstelle ausgegeben werden; - die Skalierung des Diagramms durch abfolgende weitere Gesten geändert wird; - Diagrammteile vergrößert, verkleinert oder verschoben werden; wobei diese Manipulationen einzeln oder in jedweder Kombination durchgeführt werden können.Method according to one of Claims 1 to 15, in which input gestures, in particular inputs with several or planar touches of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs for selecting a point or area in a line or area diagram are used in particular: - the coordinates of the point (72) or the surface are output on the diagram axes (74, 76) or at an associated image location; the scale of the diagram is changed by subsequent further gestures; - Diagram parts are enlarged, reduced or moved; these manipulations can be performed individually or in any combination. Verfahren nach einem der Ansprüche 1 bis 16, bei dem eine Eingabegeste, bei der eine Hand (20) flach auf bzw. an einen Bildschirmbereich (17) gebracht wird, dazu verwendet wird, durch die Identifizierung der entstehenden mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche die Hand (20) als rechte oder linke Hand zu bestimmen und dann insbesondere in einem Datensatz zu hinterlegen, ob der Benutzer Rechts- oder Linkshänder ist.Method according to one of Claims 1 to 16, in which an input gesture in which a hand (20) is brought flat onto a screen area (17) is used to identify the resulting multiple or planar contacts of the screen surface or Presence on the screen surface to determine the hand (20) as a right or left hand and then deposit in particular in a record, whether the user is right- or left-handed. Verfahren nach einem der Ansprüche 1 bis 17, bei dem eine Eingabegeste mit zwei punktförmigen Eingabe, insbesondere zwei Fingerspitzen (21, 22), zur Eingabe einer Linie (80), speziell einer bemaßten Linie (82), in das Bild bzw. den Bilddatensatz verwendet wird, wobei insbesondere der Abstand der punktförmigen Eingaben die Länge der Linie bestimmt und/oder verändert.Method according to one of Claims 1 to 17, in which an input gesture with two punctiform inputs, in particular two fingertips (21, 22), for inputting a line (80), especially a dimensioned line (82), into the image or the image data set is used, in particular, determines the distance of the punctiform inputs, the length of the line and / or changed. Verfahren nach einem der Ansprüche 1 bis 18, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben verwendet werden, um zwei- oder dreidimensionale Darstellungen eines Bilddatensatzes, insbesondere eines Patientendatensatzes, der mit einem medizintechnischen Bildgebungsverfahren erstellt worden ist, zu manipulieren, insbesondere um - die Darstellungen (84) zu drehen, zu kippen oder zu spiegeln; - eine Schnittebene (88) im dargestellten Bild (84) zu bestimmen oder zu verändern und/oder entsprechend eine Schnittdarstellung (86) anzuzeigen; - die Darstellung (84) zu verschieben; wobei eine oder mehrere der obigen Manipulationen durchgeführt werden können.Method according to one of Claims 1 to 18, in which input gestures, in particular inputs with several or planar touches of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs are used, two- or Three-dimensional representations of an image data set, in particular a patient data set that has been created with a medical imaging method to manipulate, in particular to - rotate, tilt or mirror the images (84); to determine or modify a section plane (88) in the displayed image (84) and / or to display a sectional representation (86) accordingly; - to move the representation (84); wherein one or more of the above manipulations may be performed. Verfahren nach einem der Ansprüche 1 bis 19, bei dem Eingabegesten, insbesondere gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben verwendet werden um Bildpunkte (90, 96) paarweise oder mehrfach zuzuordnen, insbesondere dieselben Bildpunkte in verschiedenen Ansichten eines Bilddatensatzes.Method according to one of Claims 1 to 19, in which input gauges, in particular simultaneous or successive punctiform inputs, are used to assign pixels (90, 96) in pairs or multiples, in particular the same pixels in different views of an image data set. Verfahren nach einem der Ansprüche 1 bis 20, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben dazu verwendet werden, Befehlsbestätigungen zu tätigen.Method according to one of Claims 1 to 20, in which input gestures, in particular inputs with several or planar contacts of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs are used to make command confirmations. Verfahren nach einem der Ansprüche 1 bis 21, bei dem eine Eingabegeste, bei der ein Objekt (110) auf oder an den Bildschirm gebracht wird, als Befehl zur Vermessung des Objekts (110) identifiziert wird, insbesondere wenn das Objekt über einen definierten Zeitraum auf oder an dem Bildschirm belassen wird.Method according to one of Claims 1 to 21, in which an input gesture in which an object (110) is brought onto or onto the screen is identified as a command for measuring the object (110), in particular if the object has a defined period of time or left on the screen. Verfahren nach einem der Ansprüche 1 bis 22, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben dazu verwendet werden, geometrische Figuren oder Körper als Konturen zu erzeugen, insbesondere Kreise (112, 120) oder Rechtecke.Method according to one of Claims 1 to 22, in which input gestures, in particular inputs with several or planar touches of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs are used to generate geometric figures or bodies as contours, in particular circles ( 112, 120) or rectangles. Verfahren nach einem der Ansprüche 1 bis 23, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben dazu verwendet werden, Objekte (130) zu skalieren bzw. in der Größe anzupassen, speziell Implantate.Method according to one of Claims 1 to 23, in which input gestures, in particular inputs with several or planar contacts of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs are used to scale or resize objects (130) , especially implants. Verfahren nach einem der Ansprüche 1 bis 24, bei dem der Bildinhalt eines von einer Eingabegeste betroffenen Bildbereiches (132, 134), insbesondere seine Helligkeit, bestimmt wird, wobei der Eingabegeste je nach dem Bildinhalt eine spezielle und bei unterschiedlichen Inhalten verschiedene Steuerungsfunktion zugewiesen wird.Method according to one of Claims 1 to 24, in which the image content of an image region (132, 134) affected by an input gesture is determined, in particular its brightness, wherein the input gesture is assigned a specific control function and different control functions depending on the image content. Verfahren nach einem der Ansprüche 1 bis 25, bei dem Eingabegesten, insbesondere gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben dazu verwendet werden, eine Uhr bzw. einen Countdownzähler (140) auf dem Bildschirm zu aktivieren und/oder einzustellen und auszulösen.Method according to one of Claims 1 to 25, in which input gauges, in particular simultaneous or successive punctiform inputs, are used to activate and / or set and trigger a clock or countdown counter (140) on the screen. Verfahren nach einem der Ansprüche 1 bis 26, bei dem Eingabegesten, insbesondere gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben dazu verwendet werden, eine Signatur (144, 146) über den Bildschirm einzugeben.Method according to one of Claims 1 to 26, in which input gestures, in particular simultaneous or successive punctiform inputs, are used to input a signature (144, 146) via the screen. Verfahren nach einem der Ansprüche 1 bis 27, bei dem Eingabegesten, insbesondere Eingaben mit mehreren oder flächenförmigen Berührungen der Bildschirmoberfläche oder Präsenzen an der Bildschirmoberfläche oder gleichzeitige bzw. aufeinanderfolgende punktförmige Eingaben dazu verwendet werden, eine Mehrfachauswahl von Bildelementen zu treffen, insbesondere von aneinandergereihten Bildelementen (152-154) durch Anwahl des ersten und letzten Bildelements.Method according to one of Claims 1 to 27, in which input gestures, in particular inputs with multiple or planar touches of the screen surface or presences on the screen surface or simultaneous or successive punctiform inputs are used to make a multiple selection of picture elements, in particular of lined-up picture elements ( 152-154) by selecting the first and last picture elements. Verfahren nach Anspruch 28, bei dem, wenn die Bildelemente Dateien repräsentieren, durch eine zusammenlaufende Geste eine komprimierte Datei aus den Dateien erstellt wird, oder, wenn die Bildelemente Bilder sind, durch eine Geste oder die Berührung eines Bildschirmschalters eine Bildabfolge aus den ausgewählten Bildelementen gestartet wird.A method according to claim 28, wherein when the picture elements represent files, a merged gesture outputs a compressed file the files are created, or, if the picture elements are pictures, by a gesture or the touch of a screen switch, a sequence of pictures from the selected picture elements is started. Programm, das, wenn es auf einem Computer läuft oder in einem Computer geladen ist, den Computer veranlasst, ein Verfahren gemäß einem der Ansprüche 1 bis 29 durchzuführen.A program that, when running on a computer or loaded in a computer, causes the computer to perform a method according to any one of claims 1 to 29. Computerprogramm-Speichermedium, das ein Programm nach Anspruch 30 aufweist.A computer program storage medium comprising a program according to claim 30.
EP07014276A 2007-07-20 2007-07-20 Method for displaying and/or processing or manipulating image data for medical purposes with gesture recognition Ceased EP2017756A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP07014276A EP2017756A1 (en) 2007-07-20 2007-07-20 Method for displaying and/or processing or manipulating image data for medical purposes with gesture recognition
EP08151038A EP2031531A3 (en) 2007-07-20 2008-02-04 Integrated medical technical display system
US12/176,027 US20090021475A1 (en) 2007-07-20 2008-07-18 Method for displaying and/or processing image data of medical origin using gesture recognition
US12/176,107 US20090021476A1 (en) 2007-07-20 2008-07-18 Integrated medical display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP07014276A EP2017756A1 (en) 2007-07-20 2007-07-20 Method for displaying and/or processing or manipulating image data for medical purposes with gesture recognition

Publications (1)

Publication Number Publication Date
EP2017756A1 true EP2017756A1 (en) 2009-01-21

Family

ID=38477329

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07014276A Ceased EP2017756A1 (en) 2007-07-20 2007-07-20 Method for displaying and/or processing or manipulating image data for medical purposes with gesture recognition

Country Status (2)

Country Link
US (1) US20090021475A1 (en)
EP (1) EP2017756A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012025159A1 (en) 2010-08-27 2012-03-01 Brainlab Ag Multiple-layer pointing position determination on a medical display
CN103153171A (en) * 2010-08-30 2013-06-12 富士胶片株式会社 Medical information display device, method and program
CN104049639A (en) * 2014-06-24 2014-09-17 上海大学 Unmanned surface vehicle anti-surge control device and method based on support vector regression
DE102014107966A1 (en) * 2014-06-05 2015-12-17 Atlas Elektronik Gmbh Screen, sonar and watercraft
US9928570B2 (en) 2014-10-01 2018-03-27 Calgary Scientific Inc. Method and apparatus for precision measurements on a touch screen
US20230293248A1 (en) * 2016-09-27 2023-09-21 Brainlab Ag Efficient positioning of a mechatronic arm

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101070943B1 (en) * 2008-07-10 2011-10-06 삼성메디슨 주식회사 Ultrasound system having virtual keyboard and method of controlling the same
DE102009004898A1 (en) * 2009-01-16 2010-08-19 Siemens Aktiengesellschaft Method for displaying two different images of a fusion image and device therefor
WO2010148127A2 (en) 2009-06-16 2010-12-23 Medicomp Systems, Inc. Caregiver interface for electronic medical records
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
US20110113329A1 (en) * 2009-11-09 2011-05-12 Michael Pusateri Multi-touch sensing device for use with radiological workstations and associated methods of use
US9996971B2 (en) * 2009-11-25 2018-06-12 Carestream Health, Inc. System providing companion images
JP5750875B2 (en) * 2010-12-01 2015-07-22 ソニー株式会社 Information processing apparatus, information processing method, and program
US8839150B2 (en) * 2010-02-10 2014-09-16 Apple Inc. Graphical objects that respond to touch or motion input
US20130112202A1 (en) * 2010-05-07 2013-05-09 Petter Fogelbrink User interface for breathing apparatus
US10042546B2 (en) * 2011-01-07 2018-08-07 Qualcomm Incorporated Systems and methods to present multiple frames on a touch screen
US20130055139A1 (en) * 2011-02-21 2013-02-28 David A. Polivka Touch interface for documentation of patient encounter
US8947429B2 (en) 2011-04-12 2015-02-03 Autodesk, Inc. Gestures and tools for creating and editing solid models
US8902222B2 (en) 2012-01-16 2014-12-02 Autodesk, Inc. Three dimensional contriver tool for modeling with multi-touch devices
US9182882B2 (en) 2011-04-12 2015-11-10 Autodesk, Inc. Dynamic creation and modeling of solid models
US8860726B2 (en) 2011-04-12 2014-10-14 Autodesk, Inc. Transform manipulator control
WO2012145011A1 (en) * 2011-04-22 2012-10-26 Hewlett-Packard Development Company, L.P. Systems and methods for displaying data on large interactive devices
RU2611977C2 (en) 2011-05-09 2017-03-01 Конинклейке Филипс Н.В. Rotating object on screen
JP5309187B2 (en) * 2011-05-26 2013-10-09 富士フイルム株式会社 MEDICAL INFORMATION DISPLAY DEVICE, ITS OPERATION METHOD, AND MEDICAL INFORMATION DISPLAY PROGRAM
US8860675B2 (en) 2011-07-12 2014-10-14 Autodesk, Inc. Drawing aid system for multi-touch devices
US9251144B2 (en) * 2011-10-19 2016-02-02 Microsoft Technology Licensing, Llc Translating language characters in media content
CA2794898C (en) 2011-11-10 2019-10-29 Victor Yang Method of rendering and manipulating anatomical images on mobile computing device
WO2013109244A1 (en) * 2012-01-16 2013-07-25 Autodesk, Inc. Three dimensional contriver tool for modeling with multi-touch devices
WO2013109245A1 (en) * 2012-01-16 2013-07-25 Autodesk, Inc. Dynamic creation and modeling of solid models
WO2013109246A1 (en) * 2012-01-16 2013-07-25 Autodesk, Inc. Gestures and tools for creating and editing solid models
US10503373B2 (en) * 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
JP5678913B2 (en) * 2012-03-15 2015-03-04 コニカミノルタ株式会社 Information equipment and computer programs
US9134901B2 (en) * 2012-03-26 2015-09-15 International Business Machines Corporation Data analysis using gestures
US9324188B1 (en) * 2012-04-30 2016-04-26 Dr Systems, Inc. Manipulation of 3D medical objects
CN103777857A (en) * 2012-10-24 2014-05-07 腾讯科技（深圳）有限公司 Method and device for rotating video picture
US10226230B2 (en) * 2013-06-10 2019-03-12 B-K Medical Aps Ultrasound imaging system image identification and display
KR102166330B1 (en) 2013-08-23 2020-10-15 삼성메디슨 주식회사 Method and apparatus for providing user interface of medical diagnostic apparatus
US9815087B2 (en) 2013-12-12 2017-11-14 Qualcomm Incorporated Micromechanical ultrasonic transducers and display
DE102013226973B4 (en) * 2013-12-20 2019-03-28 Siemens Healthcare Gmbh Method and device for simultaneously displaying a medical image and a graphic control element
WO2015127378A1 (en) 2014-02-21 2015-08-27 Medicomp Systems, Inc. Intelligent prompting of protocols
KR20150120774A (en) 2014-04-18 2015-10-28 삼성전자주식회사 System and method for detecting region of interest
WO2015164402A1 (en) * 2014-04-22 2015-10-29 Surgerati, Llc Intra-operative medical image viewing system and method
US11977998B2 (en) 2014-05-15 2024-05-07 Storz Endoskop Produktions Gmbh Surgical workflow support system
JP2017533487A (en) 2014-08-15 2017-11-09 ザ・ユニバーシティ・オブ・ブリティッシュ・コロンビア Method and system for performing medical procedures and accessing and / or manipulating medical related information
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10600015B2 (en) 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
JP6784115B2 (en) * 2016-09-23 2020-11-11 コニカミノルタ株式会社 Ultrasound diagnostic equipment and programs
EP3582707B1 (en) 2017-02-17 2025-08-06 NZ Technologies Inc. Methods and systems for touchless control of surgical environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19845030A1 (en) * 1998-09-30 2000-04-20 Siemens Ag Imaging system for reproduction of medical image information
US6424332B1 (en) * 1999-01-29 2002-07-23 Hunter Innovations, Inc. Image comparison apparatus and method
WO2006020305A2 (en) * 2004-07-30 2006-02-23 Apple Computer, Inc. Gestures for touch sensitive input devices

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4506354A (en) * 1982-09-30 1985-03-19 Position Orientation Systems, Ltd. Ultrasonic position detecting system
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6978166B2 (en) * 1994-10-07 2005-12-20 Saint Louis University System for use in displaying images of a body part
US5797849A (en) * 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6107997A (en) * 1996-06-27 2000-08-22 Ure; Michael J. Touch-sensitive keyboard/mouse and computing device using the same
US5825308A (en) * 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US5682886A (en) * 1995-12-26 1997-11-04 Musculographics Inc Computer-assisted surgical system
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JPH1063409A (en) * 1996-08-26 1998-03-06 Fuji Electric Co Ltd Cancel operation method
US5810008A (en) * 1996-12-03 1998-09-22 Isg Technologies Inc. Apparatus and method for visualizing ultrasonic images
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6226548B1 (en) * 1997-09-24 2001-05-01 Surgical Navigation Technologies, Inc. Percutaneous registration apparatus and method for use in computer-assisted surgical navigation
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6175610B1 (en) * 1998-02-11 2001-01-16 Siemens Aktiengesellschaft Medical technical system controlled by vision-detected operator activity
US6313853B1 (en) * 1998-04-16 2001-11-06 Nortel Networks Limited Multi-service user interface
US6511426B1 (en) * 1998-06-02 2003-01-28 Acuson Corporation Medical diagnostic ultrasound system and method for versatile processing
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
US6424996B1 (en) * 1998-11-25 2002-07-23 Nexsys Electronics, Inc. Medical network system and method for transfer of information
JP2003530131A (en) * 1999-03-07 2003-10-14 ディスクレ リミテッド Surgical method and apparatus using computer
JP4067220B2 (en) * 1999-03-25 2008-03-26 富士フイルム株式会社 Quality control system for medical diagnostic equipment
SE0000850D0 (en) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6574511B2 (en) * 2000-04-21 2003-06-03 Medtronic, Inc. Passive data collection system from a fleet of medical instruments and implantable devices
US6931254B1 (en) * 2000-08-21 2005-08-16 Nortel Networks Limited Personalized presentation system and method
US20020186818A1 (en) * 2000-08-29 2002-12-12 Osteonet, Inc. System and method for building and manipulating a centralized measurement value database
JP4176299B2 (en) * 2000-09-29 2008-11-05 富士フイルム株式会社 Medical image display system
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
CA2368923C (en) * 2001-01-25 2006-03-14 Jsj Seating Company Texas, L.P. Office chair
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
WO2003009269A2 (en) * 2001-07-18 2003-01-30 Daniel Dunn Multiple flat panel display system
EP1550024A2 (en) * 2002-06-21 2005-07-06 Cedara Software Corp. Computer assisted system and method for minimal invasive hip, uni knee and total knee replacement
US6857746B2 (en) * 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US20040109608A1 (en) * 2002-07-12 2004-06-10 Love Patrick B. Systems and methods for analyzing two-dimensional images
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
FI114831B (en) * 2003-05-07 2004-12-31 Tekla Corp Computer-aided model design
DE10325382A1 (en) * 2003-05-30 2004-12-23 Karl Storz Gmbh & Co. Kg Method and device for visualizing medical patient data on a medical display unit
US7768500B2 (en) * 2003-06-16 2010-08-03 Humanscale Corporation Ergonomic pointing device
US20050267353A1 (en) * 2004-02-04 2005-12-01 Joel Marquart Computer-assisted knee replacement apparatus and method
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
US20060001656A1 (en) * 2004-07-02 2006-01-05 Laviola Joseph J Jr Electronic ink system
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US20060129417A1 (en) * 2004-12-14 2006-06-15 Design Logic, Inc. Systems and methods for logo design
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US9640017B2 (en) * 2005-08-31 2017-05-02 Igt Gaming system and method employing rankings of outcomes from multiple gaming machines to determine awards
US20070073133A1 (en) * 2005-09-15 2007-03-29 Schoenefeld Ryan J Virtual mouse for use in surgical navigation
US8167805B2 (en) * 2005-10-20 2012-05-01 Kona Medical, Inc. Systems and methods for ultrasound applicator station keeping
US20070120763A1 (en) * 2005-11-23 2007-05-31 Lode De Paepe Display system for viewing multiple video signals
US7558622B2 (en) * 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US8811692B2 (en) * 2007-04-17 2014-08-19 Francine J. Prokoski System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8054116B2 (en) * 2008-01-23 2011-11-08 Qualcomm Incorporated Threshold dithering for time-to-digital converters
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19845030A1 (en) * 1998-09-30 2000-04-20 Siemens Ag Imaging system for reproduction of medical image information
US6424332B1 (en) * 1999-01-29 2002-07-23 Hunter Innovations, Inc. Image comparison apparatus and method
WO2006020305A2 (en) * 2004-07-30 2006-02-23 Apple Computer, Inc. Gestures for touch sensitive input devices

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012025159A1 (en) 2010-08-27 2012-03-01 Brainlab Ag Multiple-layer pointing position determination on a medical display
CN103153171A (en) * 2010-08-30 2013-06-12 富士胶片株式会社 Medical information display device, method and program
DE102014107966A1 (en) * 2014-06-05 2015-12-17 Atlas Elektronik Gmbh Screen, sonar and watercraft
CN104049639A (en) * 2014-06-24 2014-09-17 上海大学 Unmanned surface vehicle anti-surge control device and method based on support vector regression
CN104049639B (en) * 2014-06-24 2016-12-07 上海大学 A kind of unmanned boat antisurge based on support vector regression controls apparatus and method
US9928570B2 (en) 2014-10-01 2018-03-27 Calgary Scientific Inc. Method and apparatus for precision measurements on a touch screen
US20230293248A1 (en) * 2016-09-27 2023-09-21 Brainlab Ag Efficient positioning of a mechatronic arm
US12114944B2 (en) * 2016-09-27 2024-10-15 Brainlab Ag Efficient positioning of a mechatronic arm

Also Published As

Publication number Publication date
US20090021475A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
EP2017756A1 (en) Method for displaying and/or processing or manipulating image data for medical purposes with gesture recognition
DE102009032637B4 (en) Image magnification system for a computer interface
DE69233600T2 (en) Device for manipulating an object displayed on a screen
DE3787827T2 (en) Command entry system for an electronic computer.
DE4406668C2 (en) Method and device for operating a touch-sensitive display device
DE69026647T2 (en) Zoom mode modes in a display device
EP3400515A1 (en) User interface comprising a plurality of display units, and method for positioning contents on a plurality of display units
US8402386B2 (en) Method and apparatus for two-dimensional scrolling in a graphical display window
DE102013007250A1 (en) Procedure for gesture control
EP3903172A1 (en) Method and arrangement for outputting a head-up display on a head-mounted display
EP2795451B1 (en) Method for operating a multi-touch-capable display and device having a multi-touch-capable display
DE69221204T2 (en) Data processing device for window position control
DE102013203918A1 (en) A method of operating a device in a sterile environment
DE69026516T2 (en) DIGITIZED TABLET WITH TWO-WAY RUNNER / MOUSE
US5526018A (en) Stretching scales for computer documents or drawings
DE202017105674U1 (en) Control a window using a touch-sensitive edge
DE102016204692A1 (en) Control of multiple selection on touch-sensitive surfaces
DE102012203163A1 (en) Apparatus and method for exchanging information between at least one operator and one machine
DE112019002798T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
EP1308832A2 (en) Electronic device
DE102009003995A1 (en) Method for enlarging a display area on a presentation device
EP1019800B1 (en) System for capturing and processing user entries
EP1881398B1 (en) Method for positioning a cursor on a touch-sensitive screen
WO2006032442A1 (en) Control device for displays
EP3159785A2 (en) User interface and method for interactive selection of a display

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070720

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

AKX Designation fees paid

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20090916

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: BRAINLAB AG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20160430