[go: up one dir, main page]

WO1999003066A1 - Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen - Google Patents

Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen Download PDF

Info

Publication number
WO1999003066A1
WO1999003066A1 PCT/DE1997/001454 DE9701454W WO9903066A1 WO 1999003066 A1 WO1999003066 A1 WO 1999003066A1 DE 9701454 W DE9701454 W DE 9701454W WO 9903066 A1 WO9903066 A1 WO 9903066A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signals
characteristic area
data
signals
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE1997/001454
Other languages
English (en)
French (fr)
Inventor
Gordon Pipa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Priority to US09/462,585 priority Critical patent/US6231185B1/en
Priority to EP97932755A priority patent/EP0993657A1/de
Priority to JP2000502477A priority patent/JP2001509627A/ja
Priority to PCT/DE1997/001454 priority patent/WO1999003066A1/de
Publication of WO1999003066A1 publication Critical patent/WO1999003066A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • an X-ray diagnostic device for fluoroscopy in which a device is provided for detecting the viewing direction of an observer.
  • the device is connected to a control device for changing the direction of the central beam of a beam of rays emanating from an X-ray source, so that the direction of the central beam can be changed depending on the viewing direction of the observer.
  • This system is used in the United States by the Air Force, Navy, NASA, and commercial aviation. It serves both for training purposes, namely to improve the ability of the observer to concentrate, and for identification better designs of cockpits, instrument panels and similar devices. Further areas of application are in the checking of the advertising effectiveness of television programs, in the registration of recognition options in road traffic and in the determination of learning disorders in children.
  • DE 195 41 301 A1 provides means for detecting what a viewer has focused and viewed on a display device, the means providing a signal for
  • the eyes of the person are preferably recorded and the direction of view is determined based on the orientation of the pupil in the eye.
  • the image signals of the eye recorded by a camera are evaluated by an image computer and converted into control signals.
  • a high computing power of the computing unit is required.
  • Such computing units are expensive because they have to deal with the large amounts of data generated from the image signals in the shortest possible time.
  • the computing power required is much greater than that available in today's PCs. The use of such a device is therefore limited to a few areas of application.
  • the object of the invention is therefore to provide a method and a device of the type mentioned at the outset by means of which it is possible, or by which it is possible, to make do with less computing power and thus lower costs.
  • the object is achieved by the subject matter of claims 1 and 18.
  • the advantage of the method is that in a first process the method steps generate first and second image signals of the characteristic area with a camera, the first image signals being generated with a first and the second image signals with the first and an additional second light source of narrowband light emission.
  • the first and second image signals consequently differ from one another in particular by the influence of the second light source. If the first and second image signals are subtracted to generate differential image signals, the differential image signals contain only the information that is generated by the second light source. The influences of the first light source on the image signals, including reflections from the surroundings of the person, are thus largely eliminated.
  • a control signal dependent on the location coordinates can be generated and a device can be operated or controlled.
  • a particular advantage of this method is that method steps a) and b) in particular can be carried out in a programmable logic for which no computing capacity of the computing unit is therefore required.
  • the computing capacity is limited only to the evaluation of the difference signals with regard to the determination of the location of the image signals generated by the characteristic area. The computing power and thus the costs for the computing system can thus be significantly reduced.
  • a further reduction in the amount of data to be processed results if, in a second process following the first, process steps a) and b) are repeated and in process step c) the examination of the difference signals is limited to a predetermined range, which is determined by the location coordinates depends on the characteristic range. It has been shown that a characteristic area can only cover a certain distance in a predetermined time. If one limits the reading of the image signals of the camera to the maximum distance of the characteristic area, one only needs to evaluate the image signals of the camera from this predetermined area in order to determine the current location coordinates of the new location of the characteristic area.
  • the predetermined area can advantageously be enlarged in a further method step.
  • the second process is repeated continuously since, due to the evaluation of the image signals of the predetermined area only, the amount of data to be processed is reduced compared to all image signals that can be derived by the camera and less computing power is thus required.
  • the difference image signals are differentiated pixel by pixel and the differentiation data thus obtained are examined to determine which data exceeds a predetermined limit. or fall below and the location coordinates are determined only from the data that exceed or fall below the limit.
  • the differentiation data is stored as a histogram in a histogram memory and if the computing unit 13 calculates the location coordinates on the basis of the data stored in the address and histogram memory. The limit can thus be calculated on the basis of the data stored in the histogram memory.
  • the characteristic area is the eye, in particular the pupil of the eye.
  • the characteristic area is a reflecting surface that is connected to the person, then, for example, the movement of the head, hands, arm or another part of the body of the person can also be used to operate the device.
  • a device for performing the method, in particular according to claims 18 to 24, can be implemented in a structurally simple and inexpensive manner.
  • FIG. 1 shows a block diagram of a method and a device according to the invention
  • FIG. 2 shows a block diagram of the device according to FIG. 1
  • FIG. 3 shows a time schedule for carrying out the method steps
  • FIG. 4 shows a predetermined area with the current and previous location coordinates of a characteristic area
  • FIG. 5 shows a contact lens applied to an eye with a characteristic area
  • FIG. 6 shows a more detailed circuit arrangement of the device according to the invention.
  • the first image signals that can be derived from a camera and are generated with a first light source are subtracted from second image signals that were generated with the first and an additional second light source that are different from the first.
  • the first and second image signals and the difference image signals can each be stored in one or a common memory.
  • the difference signals are evaluated with a view to determining the location of the characteristic Area generated image signals and determine the location coordinates of the characteristic area and the generation of a control signal dependent on the location coordinates for the device.
  • the location coordinates or the control signal can then be output to the device, which is a further method step that can be carried out in a third block 3.
  • a fourth block 4 is to be connected upstream of the first block 1, in which the image signals of the camera are digitized.
  • This fourth block 4 can be omitted if a camera is used which generates digital image signals.
  • the method steps indicated in FIG. 1 or the blocks 1 to 4 indicated there can preferably carry out their task independently of one another, i.e. work in parallel, which increases the data processing speed.
  • a data reduction block 2.1 is particularly preferably connected upstream of the second block 2, in which a differentiation of the difference image signals resulting from the first block 1 is carried out.
  • the differentiation successive pixels of the image signals (difference image signals) are subtracted from one another, so that the contrast between these pixels is determined.
  • a histogram of the differentiation data can preferably be formed and the frequency with which certain contrasts are contained in the image signals can be determined.
  • FIG. 2 shows in principle a device for performing the method according to the invention, wherein a person 5 looks, for example, at a display device, for example a monitor 6, on which, for example, control panels for a device, for example for a medical device or for a computer, are arranged or displayed.
  • a display device for example a monitor 6, on which, for example, control panels for a device, for example for a medical device or for a computer, are arranged or displayed.
  • the direction of view and thus what the person 5 has focused on the monitor 6 is recorded by a camera 7, for example by the fact that the image signals of the location of a characteristic area 8, for example the pupil of the eye, are on the head or on a body part of the person 5 arranged reflector or a reflector arranged on a contact lens (FIG. 5), from the image signals that can be derived from the camera 7 with respect to the location of the detector surface of the camera 7 from which they originate.
  • a display device for example a monitor 6, on which, for example, control
  • the reflector is preferably designed so that it reflects the light emanating from the second light source 10 particularly well.
  • this reflector can also be designed as an absorber, which then absorbs the light from the second light source 10 particularly strongly.
  • first image signals are generated with the light from a first light source, which emits visible light, for example, and are fed to a first image signal memory 9.
  • second image signals are generated with the light from the first light source and an additional second light source 10 and fed to a second image signal memory 11.
  • the second light source 10 preferably generates a light with a wavelength that cannot be perceived by the person 5.
  • an infrared light source is particularly suitable, which particularly preferably generates light with a wavelength in the range, for example between 900 and 1000 nm.
  • An infrared semiconductor diode is therefore suitable as the second light source.
  • the use of infrared light with a wavelength of 950 nm lends itself because the light emitted by the sun is in this range Has minimum intensity.
  • An infrared filter is preferably also arranged in front of the camera 7, which allows very narrow-band light of the wavelength of 950 nm to pass through. Image signals of the camera 7, which are based on the visible light, are thus stored in the first image signal memory 9. In the second image signal memory 11, image signals are stored which are based on the visible light and the light from the second light source 10.
  • the subtractor 12 is followed by a unit for data reduction 12.5 which, according to the data reduction block 2.1, carries out the pixel-by-pixel differentiation and generation of a histogram.
  • a computing unit 13 uses the differentiation data generated by the data reduction unit 12.5 to calculate the location of the image signals that originate from the characteristic area 8.
  • the differentiation data are thus evaluated with regard to a certain signal level, which they exceed or fall below.
  • the image signals (data) emanating from the characteristic area 8 can either be particularly high or particularly low and / or have certain values in a certain area, ie different from the others Image signals as clearly as possible, ie distinguish characteristically, which can be used as an evaluation criterion.
  • the computing unit 13 preferably calculates the location coordinates of the center of these image signals generated by the characteristic area 8. If a control signal that is dependent on the location coordinates is generated, this can be used to operate a device.
  • the control signal can be used, for example, to control a computer, a device or a device. If these are implemented with a display device, the control signal can be used to adjust the cursor on the display device, the direction of view or the location of the characteristic area 8, and thus the computer, the device or the device can be controlled. If the line of sight or the characteristic area 8 lingers for a predeterminable time, the targeted menu function can be carried out in this way, for example.
  • a further possibility of executing the menu function envisaged consists in "evaluating" the conscious blinking, which differs significantly in terms of time from the unconscious blinking. The computer, the device or the device can thus be operated without the hands having to be used, for example. Furthermore, it is also possible to operate a medical device if an operating menu required to operate the medical device appears on a display.
  • the control of the reading out of the image signals of the camera 7, the second light source 10, the storage and reading out of the image signals of the camera 7 into or out of the first and second image signal memories 9 and 11 takes place via a control device 15 also shown in FIG , controlling the subtractor 12 of the data reduction unit 12.5 and the computing unit 13.
  • 3 shows that, depending on the image synchronization pulses 16 in a first cycle 17, the image signals that can be derived from the camera 7 are digitized when a television camera is used that generates analog signals, and that these first image signals are in the first Image signal memory 9 can be stored (I).
  • the second image signals are digitized, if necessary, and transferred to the second image signal memory 11 (II).
  • the image signals stored in the first and second image signal memories 9, 11 are subtracted from one another and, for example, but not necessarily, are stored in a fourth memory 19 (FIG. 2) which the computing unit 13 can access (III).
  • a third cycle 20 current first image signals are possibly digitized and written into the first image signal memory 9 (IV).
  • the difference signals stored in the fourth memory 19 are evaluated with regard to the location of the characteristic area 8 (VI) and corresponding location coordinates are calculated and a control signal corresponding to them is generated (VII).
  • current second image signals are possibly digitized and transferred to the second image signal memory 11 (VIII), the image signals of the image signal memories 9, 11 are subtracted and transferred to the fourth memory 19 (IX).
  • the differential image signals stored in the third memory 21 are differentiated pixel by pixel and the differentiation data thus obtained, corresponding to the difference between the pixels, is evaluated with regard to the location of the characteristic area 8 (X) and corresponding location coordinates are calculated and a corresponding control signal is generated (XI ).
  • the difference image signals stored in the fourth memory 19 are evaluated with regard to the location of the characteristic area 8 (XII) and calculated corresponding location coordinates and this generates a control signal corresponding to them (XIII).
  • a second process is carried out continuously, in which the method steps of storing the first and second image signals and subtracting the first and second image signals to generate differential image signals are carried out and the evaluation of the difference image signals is limited to a predetermined area 25 (FIG. 4), that of the previous one
  • Process determined local coordinates of the characteristic area 8 depends. If the characteristic area 8 is the pupil of an eye of the person 5, the pupil can only cover a certain distance ⁇ x, ⁇ y in a predetermined time t. That is, starting from the first determined
  • Location coordinates P Q are the further location coordinates P x of the detected characteristic area 8 to be expected within a predetermined area on the image converter of the camera 7.
  • the size of this predetermined area 25 is therefore dependent on the maximum speed at which the pupil can be adjusted, for example, and on the generation and readout time of the image signals of the camera 7.
  • the detected location of the characteristic area 8 is located in the center thereof predetermined area 25, should actually lent a circular area to be evaluated as a predetermined area 25, the radius of which results from the maximum adjustment path. Since a considerably greater computing effort is required to evaluate a round area compared to a square or rectangular area, it is advantageous to define a square area for evaluation, ie as a predetermined area 25. According to FIG.
  • ⁇ x and ⁇ y indicate the real change in the first detected location 26 in the x and y directions.
  • the following algorithm is used to define the coordinates of the predetermined area:
  • the relevant image area can be reduced by a factor of 10 in relation to the overall image. This measure allows more computing power to be allocated to the shape comparison. Since the camera 7, for example, is always in the same position relative to the head, the image of the characteristic area 8 on the camera 7 is precisely defined, in particular if it is a predetermined reflector with a known size and shape. Thus, the differentiation data selected by a threshold value can easily be compared with data of the characteristic area 8 or of the reflector stored in an internal memory of the device. Any reflections caused by the infrared semiconductor diode are positional and can therefore be neglected.
  • the characteristic area 8 is formed by the pupil, a large variety of different patterns can result due to the size and depending on the resolution of the camera 7. This means that the pupil can differ greatly when it is recorded by the camera 7 with regard to its imaging on the camera 7, the size and the position.
  • the edge of the pupil can be determined by forming a gradient from the differentiation data in the x and y directions as a function of a predefinable limit.
  • a center of gravity calculation can be carried out in which the sum of all x components is calculated by their number and the sum of all y components by their number. The center of gravity thus determined then lies in the area of the center of the pupil and can therefore be used for determining the location coordinates.
  • the BAS signals of the camera 7, which include the image signals and the synchronizing pulses (line and image synchronizing pulses) are then fed to a first device 27 and a second device 28.
  • the synchronization pulses are separated from the BAS signal.
  • the image signals are le separated from the sync pulses and amplified.
  • a sequence control 29 is supplied with the synchronized pulses separated in the first device 27 and the signals from a clock generator 30. On the basis of these signals, the sequence control 29 generates all the control signals necessary for the functional sequence.
  • a second stage consists of an analog / digital converter 31, to which the amplified image signals of the second device 28 are fed and which operates, for example, at a sampling frequency, so that the image signals are digitized with, for example, approximately 500 pixels per line.
  • these image signals are controlled by the sequence controller 29 and are alternately written into the first and second image signal memories 9, 11, as a result of which the other memory contains the image signals of the previous image. Since both image signal memories 9, 11 receive their addresses via the same address bus, the pixel brightness of a pixel is present at all times as a digital word (8 bits) from the current and from the previous image.
  • the digital information of the image signals stored in the image signal memories 9, 11 is subtracted, which is preferably carried out by programmable logic.
  • Difference image signals thus emanate from the subtractor 12 and are thus largely cleaned of reflections and other interfering influences.
  • the differential image signals emanating from the subtractor 12 are supplied both to a downstream subtraction signal memory 32 and to the unit for data reduction 12.5.
  • the differentiation of the difference image signals generated by the subtractor 12 takes place, successive pixels being differentiated from one another. The contrast between these pixels is therefore determined.
  • the results of this differentiation are stored as differentiation data as a digital word in a differentiation memory 33. However, since the differentiation does not make it clear from the start whether the value of a first digital word is less than that second or vice versa, both results (AB; BA) are formed and the correct sign is determined by a comparator working in parallel.
  • the 8th bit is used as the sign bit. It can thus be quickly determined whether the signal value of the pixel is higher or lower, ie the image is becoming lighter or darker. This information is very important in deciding which edge of the characteristic area 8 or the pupil one is at during the evaluation.
  • a histogram of the differentiation data is formed in a downstream histogram device 34, ie the frequency of the individual possible contrasts of the image is determined.
  • a threshold value can be calculated on the basis of the frequency of the different contrasts contained in the image.
  • the 7 bits of the respective differentiation data are used as the address for a 7 ⁇ 11-bit histogram memory 35, for example.
  • the sign bit which indicates whether the brightness rises or falls, need not be taken into account here.
  • a threshold value unit 36 connected downstream of the unit for data reduction 12.5, the differentiation data are evaluated to determine whether they exceed a predetermined threshold value according to the exemplary embodiment. If you exceed a predetermined threshold value, the respective address is written into a downstream address memory 37. Within the scope of the invention, however, the differentiation data can also be evaluated by checking whether the differentiation data fall below a predetermined threshold value.
  • the computing unit 13 then only evaluates the data of the histogram memory 35, the addresses of which it receives from the address memory 37. The amount of data to be processed is thus considerably reduced. From the data readable from the histogram memory 35, the computation Unit 13 also calculate the threshold above which the greatest contrasts lie. This threshold value is then entered into the threshold value unit 36.
  • the computing unit 13 can also access the data stored in the subtraction memory 32 and the data in the differentiation memory 33, so that it can be checked whether the detected pupil in the center is really black. From the data of the differentiation memory 33, it can be checked whether the 8th (sign) bit is positive or negative, as a result of which it can be determined at which edge of the characteristic area 8 one is located during the evaluation.
  • a data feed device (e.g. from a PC) is identified by the reference symbol 38 and a data output device (e.g. by a PC) is identified by the reference symbol 39.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Gemäss der Erfindung werden erste und zweite Bildsignale zumindest des charakteristischen Bereiches (8) mit einer Kamera (7) erzeugt, wobei die ersten Bildsignale mit einer ersten und die zweiten Bildsignale mit der ersten und einer zusätzlichen zweiten Lichtquelle (10) mit zur ersten unterschiedlichen Lichtemission erzeugt werden. Die ersten und zweiten Bildsignale werden subtrahiert und Differenzbildsignale erzeugt. Diese Differenzbildsignale werden hinsichtlich der vom charakteristischen Bereich (8) erzeugten Signale untersucht und die Ortskoordinaten (P) des charakteristischen Bereiches bestimmt und ein denen entsprechendes Signal erzeugt.

Description

VERFAHREN UND VORRICHTUNG ZUM ERFASSEN EINER REFLEKTIERENDE FLACHE EINES MENSCHEN
Verfahren zum Betrieb einer Vorrichtung zum Erfassen des Ortes zumindest eines charakteristischen Bereiches einer Person und zum Erzeugen eines von diesem Ort abhängigen Steuersignales für ein Gerät
Aus der DE 27 40 908 AI ist eine Röntgendiagnostikeinrichtung für Durchleuchtung bekannt, bei der eine Einrichtung zum Er- fassen der Blickrichtung eines Beobachters vorgesehen ist. Die Einrichtung ist an eine Steuervorrichtung zum Verändern der Richtung des Zentralstrahles eines von einer Röntgen- strahlenquelle ausgehenden Strahlenbündels angeschlossen, so daß in Abhängigkeit von der Blickrichtung des Beobachters die Richtung des Zentralstrahles veränderbar ist.
Aus der Zeitschrift Bild der Wissenschaf , Nr. 3, 1977, Seite 27, ist unter dem Titel "Blick ins Auge" ein Bericht veröffentlicht, nach dem Wissenschaftler des Radiation Center von Honeywell (Lexington/USA) ein Gerät entwickelt haben, das es ermöglicht, die Blickrichtung einer Testperson genauestens zu erfassen, zu registrieren und sichtbar zu machen. Auf die Augen der Testperson wird dabei ein Infrarot-Lichtstrahl gerichtet, eine Spezial-Fernsehkamera zeichnet jede Augenbewe- gung auf. Die so ermittelten Informationen werden einem Minicomputer zugeführt, der die jeweilige Position des Blickes errechnet und diese als sichtbaren Punkt auf einem Bildschirm erscheinen läßt. Auf dem gleichen Bildschirm ist die von der Testperson beobachtete Szene zu sehen. Das "Fernokulometer" gestattet es, die Blickrichtung zu erfassen, ohne dabei die normalen Augenbewegungen zu beeinträchtigen. Dieses System wird in den USA bei der Luftwaffe, der Marine, bei der NASA und in der kommerziellen Luftfahrt eingesetzt. Es dient sowohl Schulungszwecken, nämlich der Verbesserung der Konzen- trationsfähigkeit des Beobachters, als auch der Ermittlung besserer Gestaltungsformen von Cockpits, Instrumententafeln und ähnlichen Einrichtungen. Weitere Anwendungsgebiete erschließen sich bei der Überprüfung der Werbewirksamkeit von Fernsehprogrammen, bei der Registrierung von Erkennungsmög- lichkeiten im Straßenverkehr und bei der Ermittlung von Lernstörungen bei Kindern.
Aus der DE 195 41 301 AI sind Mitteln zum Erfassen dessen, was ein Betrachter auf eine Anzeigevorrichtung fokussiert hat und betrachtet vorgesehen, wobei die Mittel ein Signal zum
Steuern der Anzeigevorrichtung derart erzeugen, daß die Auflösung der Anzeigevorrichtung im betrachteten Bereich höher ist als im nichtbetrachteten Bereich der Anzeigevorrichtung.
Bei derartigen Einrichtungen zum Erfassen der Blickrichtung oder dessen, was ein Betrachter fokussiert hat, werden vorzugsweise die Augen der Person erfaßt und anhand der Ausrichtung der Pupille im Auge die Blickrichtung erfaßt. Die von einer Kamera aufgenommenen Bildsignale des Auges werden hier- bei von einem Bildrechner ausgewertet und in Steuersignale gewandelt. Da die Erkennung der Pupille aus den Bildsignalen einer Kamera jedoch ein sehr komplizierter Vorgang ist, ist eine hohe Rechenleistung der Recheneinheit erforderlich. Solche Recheneinheiten sind teuer, da sie die aus den Bildsigna- len erzeugten hohen Datenmengen in möglichst kurzer Zeit bewältigen müssen. Die erforderliche Rechenleistung ist wesentlich größer als sie in heutigen PC's zur Verfügung steht. Die Anwendung einer solchen Einrichtung ist daher auf wenige Anwendungsbereiche begrenzt.
Aufgabe der Erfindung ist es daher, ein Verfahren und eine Vorrichtung der eingangs genannten Art anzugeben, durch das es bzw. durch die es möglich ist, mit geringerer Rechenleistung und damit geringeren Kosten auszukommen. Die Aufgabe wird erfindungsgemäß durch den Gegenstand der Patentansprüche 1 und 18 gelöst.
Vorteil des Verfahrens ist, daß in einem ersten Prozeß die Verfahrensschritte erzeugen erster und zweiter Bildsignale des charakteristischen Bereiches mit einer Kamera, wobei die ersten Bildsignale mit einer ersten und die zweiten Bildsignale mit der ersten und einer zusätzlichen zweiten Lichtquelle schmalbandiger Lichtemission erzeugt werden. Die er- sten und zweiten Bildsignale unterscheiden sich folglich insbesondere durch den Einfluß der zweiten Lichtquelle voneinander. Werden die ersten und zweiten Bildsignale zum Erzeugen von Differenzbildsignalen subtrahiert, so enthalten die Differenzbildsignale nur die Informationen, die durch die zweite Lichtquelle erzeugt werden. Die Einflüsse der ersten Lichtquelle auf die Bildsignale, auch Reflektionen aus der Umgebung der Person, werden somit weitestgehend eliminiert. Untersucht man die Differenzsignale hinsichtlich der vom charakteristischen Bereich erzeugten Signale und bestimmt die Ortskoordinaten des charakteristischen Bereiches, so kann ein von den Ortskoordinaten abhängiges Steuersignal erzeugt und ein Gerät bedient oder gesteuert werden. Als besonderer Vorteil dieses Verfahrens ist zu nennen, daß insbesondere die Verfahrensschritte a) und b) in einer programmierbaren Logik ausgeführt werden können, für die somit keine Rechenkapazität der Recheneinheit erforderlich ist. Die Rechenkapazität beschränkt sich lediglich auf die Auswertung der Differenzsignale hinsichtlich der Bestimmung des Ortes der vom charakteristischen Bereich erzeugten Bildsignale. Die Rechenleistung und damit die Kosten für das Rechensystem kann somit erheblich reduziert werden.
Zur weiteren Reduzierung der Rechenleistung ist es vorteilhaft, wenn im Verfahrensschritt a) nur vorbestimmte Zeilen der Kamera ausgelesen werden. Insbesondere kann es ausrei- chen, wenn nur jede zweite oder dritte Zeile ausgelesen wird, wodurch die auf den Bildsignalen beruhende Datenmenge auf die Hälfte bzw. ein Drittel reduziert ist.
Eine weitere Reduzierung der zu verarbeitenden Datenmenge ergibt sich, wenn in einem zweiten, sich an den ersten anschließenden Prozeß die Verfahrensschritte a) und b) wiederholt werden und im Verfahrensschritt c) die Untersuchung der Differenzsignale auf einen vorbestimmten Bereich beschränkt wird, der von den Ortskoordinaten des charakteristischen Bereiches abhängt. Es hat sich nämlich gezeigt, daß ein charakteristischer Bereich in einer vorbestimmten Zeit nur einen bestimmten Weg zurücklegen kann. Begrenzt man das Auslesen der Bildsignale der Kamera auf den maximal zurücklegbaren Weg des charakteristischen Bereichs, so braucht man auch nur die Bildsignale der Kamera aus diesem vorbestimmten Bereich auszuwerten, um die aktuellen Ortskoordinaten des neuen Ortes des charakteristischen Bereiches zu bestimmen.
Sollte es sich jedoch ergeben, daß in dem somit vorbestimmten Bereich keine vom charakteristischen Bereich ausgehenden Signale bestimmbar sind, so kann der vorbestimmte Bereich in einem weiteren Verfahrensschritt vorteilhaft vergrößert werden.
Es ist vorteilhaft, wenn der zweite Prozeß fortlaufend wiederholt wird, da aufgrund lediglich der Auswertung der Bildsignale des vorbestimmten Bereiches gegenüber allen von der Kamera ableitbaren Bildsignale die zu verarbeitende Datenmenge reduziert ist und damit weniger Rechenleistung erforder- lieh ist.
Zur weiteren Datenreduktion ist es von besonders großem Vorteil, wenn die Differenzbildsignale pixelweise differenziert und die somit erhaltenen Differentiationsdaten dahingehend untersucht werden, welche Daten ein vorgegebenes Limit über- oder unterschreiten und wobei die Ortskoordinaten nur aus den Daten bestimmt werden, die das Limit über- oder unterschreiten.
Vorteilhaft ist es, wenn nur die Adressen der Differentiationsdaten in einen Adressenspeicher gespeichert werden, die das Limit über- oder unterschreiten und wenn die Recheneinheit aufgrund der im Adressenspeicher gespeicherten Daten die Ortskoordinaten bestimmt. Die zu verarbeitende Datenmenge ist hierdurch erheblich reduziert, d.h., nur auf die Daten begrenzt, die das Limit über- oder unterschreiten.
Von weiterem Vorteil ist es, wenn die Differentiationsdaten als Histogramm in einen Histogrammspeicher gespeichert werden und wenn die Recheneinheit 13 aufgrund der im Adressen- und Histogrammspeicher gespeicherten Daten die Ortskoordinaten berechnet. Aufgrund der im Histogrammspeicher gespeicherten Daten kann somit das Limit berechnet werden.
Besonders vorteilhaft ist die Verwendung eines für die Person unsichtbaren Lichtes, das von der zweiten Lichtquelle ausgeht und wenn insbesondere die zweite Lichtquelle Infrarotlicht erzeugt. Es kann somit Umgebungslicht als erste Lichtquelle verwendet werden, zudem stört das Licht der zweiten Licht- quelle nicht die Person, da es für diese nicht erkennbar ist.
Um die Blickrichtung der Person zu detektieren ist es besonders vorteilhaft, wenn der charakteristische Bereich das Auge, insbesondere die Pupille des Auges, ist.
Ist der charakteristische Bereich eine reflektierende Fläche, die mit der Person in Verbindung steht, so kann beispielsweise auch die Bewegung des Kopfes, der Hände, des Armes oder eines anderen Körperteiles der Person zur Bedienung des Gerä- tes herangezogen werden. Eine Vorrichtung zum Durchführen des Verfahrens, insbesondere nach den Patentansprüchen 18 bis 24, ist konstruktiv einfach und preiswert realisierbar.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispie- les anhand der Zeichnungen in Verbindung mit den Unteransprüchen.
Es zeigt:
FIG 1 ein Blockdiagramm eines Verfahrens und einer Vorrichtung nach der Erfindung,
FIG 2 ein Blockschaltbild der Vorrichtung nach FIG 1, FIG 3 einen Zeitablaufplan zur Durchführung der Verfahrensschritte,
FIG 4 einen vorbestimmten Bereich mit den aktuellen und vorherigen Ortskoordinaten eines charakteristischen Bereiches, FIG 5 eine auf ein Auge aufgebrachte Kontaktlinse mit einem charakteristischen Bereich und
FIG 6 eine detailliertere Schaltungsanordnung der Vorrichtung nach der Erfindung.
Im ersten Block 1 des in der FIG 1 dargestellten Blockschaltbildes werden die von einer Kamera ableitbaren ersten, mit einer ersten Lichtquelle erzeugten Bildsignale von zweiten Bildsignalen subtrahiert, die mit der ersten und einer zusätzlichen zweiten, zur ersten unterschiedlichen Lichtquelle erzeugt wurden. Die ersten und zweiten Bildsignale sowie die Differenzbildsignale können jeweils in einem oder einem gemeinsamen Speicher gespeichert werden. In einem zweiten dem ersten nachfolgenden Block 2 erfolgt in einem weiteren Verfahrensschritt die Auswertung der Differenzsignale hinsicht- lieh der Ermittlung des Ortes der von dem charakteristischen Bereich erzeugten Bildsignale und bestimmen der Ortskoordinaten des charakteristischen Bereiches sowie das Erzeugen eines von den Ortskoordinaten abhängigen Steuersignales für das Gerät. In einem weiteren Verfahrensschritt kann dann die Ausga- be der Ortskoordinaten bzw. des Steuersignales an das Gerät erfolgen, was ein weiterer Verfahrensschritt ist, der in einem dritten Block 3 ausgeführt werden kann.
Erzeugt die Kamera, beispielsweise als Fernsehkamera, analoge Bildsignale, so ist dem ersten Block 1 ein vierter Block 4 vorzuschalten, in dem die Bildsignale der Kamera digitalisiert werden. Auf diesen vierten Block 4 kann verzichtet werden, wenn eine Kamera Verwendung findet, die digitale Bildsignale erzeugt. Die in der FIG 1 angegebenen Verfahrens- schritte bzw. die dort angegebenen Blöcke 1 bis 4 können ihre Aufgabe vorzugsweise unabhängig voneinander ausführen, d.h. parallel arbeiten, wodurch die Datenverarbeitungsgeschwindigkeit größer wird.
Besonders bevorzugt ist dem zweiten Block 2 ein Datenreduzierungsblock 2.1 vorgeschaltet, in dem eine Differentiation der aus dem ersten Block 1 hervorgehenden Differenzbildsignale vorgenommen wird. Bei der Differentiation werden aufeinanderfolgende Pixel der Bildsignale (Differenzbildsignale) vonein- ander subtrahiert, so daß der Kontrast zwischen diesen Pixel bestimmt wird. Während der Differentiation kann vorzugsweise ein Histogramm der Differentiationsdaten gebildet und die Häufigkeit ermittelt werden, mit der bestimmte Kontraste in den Bildsignalen enthalten sind. Durch Festlegen eines Schwellwertes kann dann im nachfolgenden zweiten Block 2 ohne großen Rechenaufwand die Ermittlung des Ortes der von dem charakteristischen Bereich erzeugten Bildsignale vorgenommen und die Ortskoordinaten bestimmt werden. In der FIG 2 ist in prinzipieller Weise eine Vorrichtung zum Durchführen des Verfahrens nach der Erfindung gezeigt, wobei eine Person 5 beispielsweise auf eine Anzeigevorrichtung, beispielsweise einen Monitor 6 schaut, auf dem beispielsweise Bedienfelder für ein Gerät, beispielsweise für ein medizin- technisches Gerät oder für einen Computer, angeordnet sind bzw. angezeigt werden. Die Blickrichtung und damit das, was die Person 5 auf dem Monitor 6 fokussiert hat, wird durch eine Kamera 7, beispielsweise dadurch erfaßt, daß die Bildsi- gnale des Ortes eines charakteristischen Bereiches 8, beispielsweise der Pupille des Auges, eines am Kopf oder an einem Körperteil der Person 5 angeordneten Reflektors oder eines auf einer Kontaktlinse angeordneten Reflektors (FIG 5), aus den von der Kamera 7 ableitbaren Bildsignalen hinsicht- lieh des Ortes der Detektorfläche der Kamera 7, von dem sie ausgehen, berechnet werden. Der Reflektor ist hierbei vorzugsweise so ausgeführt, daß er das von der zweiten Lichtquelle 10 ausgehende Licht besonders gut reflektiert. Dieser Reflektor kann aber auch als Absorber ausgeführt sein, der dann das Licht der zweiten Lichtquelle 10 besonders stark absorbiert. Erfindungsgemäß werden hierzu erste Bildsignale mit dem Licht einer ersten Lichtquelle, die beispielsweise sichtbares Licht aussendet, erzeugt und einem ersten Bildsignalspeicher 9 zugeführt. Nachfolgend werden zweite Bildsignale mit dem Licht der ersten Lichtquelle und einer zusätzlichen zweiten Lichtquelle 10 erzeugt und einem zweiten Bildsignalspeicher 11 zugeführt. Die zweite Lichtquelle 10 erzeugt vorzugsweise ein Licht mit einer Wellenlänge, die von der Person 5 nicht wahrgenommen werden kann. Hierzu eignet sich insbe- sondere eine Infrarot-Lichtquelle, die besonders bevorzugt Licht einer Wellenlänge im Bereich, beispielsweise zwischen 900 und 1000 nm erzeugt. Als zweite Lichtquelle eignet sich somit eine Infrarot-Halbleiterdiode. Die Verwendung von Infrarot-Licht mit einer Wellenlänge von 950 nm bietet sich an, da daß von der Sonne emittierte Licht in diesem Bereich ein Minimum an Intensität hat. Vorzugsweise wird auch vor der Kamera 7 ein Infrarot-Filter angeordnet, der sehr schmalbandig Licht der Wellenlänge von 950 nm passieren läßt. Im ersten Bildsignalspeicher 9 sind somit Bildsignale der Kamera 7 ge- speichert, die auf dem sichtbaren Licht beruhen. Im zweiten Bildsignalspeicher 11 sind Bildsignale gespeichert, die auf dem sichtbaren Licht und dem Licht der zweiten Lichtquelle 10 beruhen .
Dies wirkt sich im nachfolgenden Verfahrensschritt vorteilhaft aus, wenn nämlich die in den Bildsignalspeichern 9,11 erhaltenen Bildsignale einem Subtrahierer 12 zugeführt werden, der die ersten und zweiten Bildsignale voneinander subtrahiert. Die Speicher 9,11 und insbesondere der Subtrahierer 12 können hierbei vorteilhaft Teile einer programmierbaren Logik sein. Als Ergebnis werden somit Differenzbildsignale erzeugt, die im wesentlichen auf dem Licht der zweiten Lichtquelle 10 beruhen. Die vom sichtbaren Licht ausgehenden Reflexe und Störeinflüsse werden somit im wesentlichen elimi- niert.
Dem Subtrahierer 12 ist eine Einheit zur Datenreduktion 12.5 nachgeschaltet, die gemäß dem Datenreduzierungsblock 2.1 das pixelweise Differenzieren und Erzeugen eines Histrogrammes ausführt.
Eine Recheneinheit 13 berechnet aus den von der Einheit zur Datenreduktion 12.5 erzeugten Differentiationsdaten den Ort der Bildsignale, die von dem charakteristischen Bereich 8 ausgehen. Die Differentiationsdaten werden also hinsichtlich einer bestimmten Signalhöhe, die sie über- bzw. unterschreiten, ausgewertet. Die von dem charakteristischen Bereich 8 ausgehenden Bildsignale (Daten) können entweder besonders hoch oder besonders niedrig und/oder in einem bestimmten Be- reich bestimmte Werte aufweisen, d.h. sich von den anderen Bildsignalen möglichst deutlich, d.h. charakteristisch unterscheiden, was als Auswertekriterium herangezogen werden kann. Vorzugsweise berechnet die Recheneinheit 13 aufgrund dieser Differentiationsdaten die Ortskoordinaten des Zentrums dieser vom charakteristischen Bereich 8 erzeugten Bildsignale. Wird ein von den Ortskoordinaten abhängiges Steuersignal erzeugt, so kann dieses zur Bedienung eines Gerätes herangezogen werden. Das Steuersignal kann beispielsweise dazu dienen, einen Computer, eine Vorrichtung oder ein Gerät zu steuern. Sind diese mit einer Anzeigevorrichtung ausgeführt, so kann über das Steuersignal der Cursor auf der Anzeigevorrichtung, der Blickrichtung oder dem Ort des charakteristischen Bereiches 8 entsprechend, verstellt und damit der Computer, die Vorrichtung oder das Gerät gesteuert werden. Verweilt die Blickrich- tung oder der charakteristische Bereich 8 für eine vorbestimmbare Zeit, so kann beispielsweise dadurch die anvisierte Menüfunktion ausgeführt werden. Eine weitere Möglichkeit, die anvisierte Menüfunktion auszuführen besteht in der "Auswertung" des bewußten Lidschlages, welcher sich hinsichtlich der Zeitdauer vom unbewußten Lidschlag deutlich unterscheidet. Es kann also eine Bedienung des Computers, der Vorrichtung oder des Gerätes erfolgen, ohne das hierzu beispielsweise die Hände eingesetzt werden müssen. Ferner ist es auch möglich, ein medizintechnisches Gerät zu bedienen, wenn ein zur Bedienung des medizintechnischen Gerätes erforderliches Bedienmenü auf einer Anzeige erscheint.
Über eine ebenfalls in der FIG 2 dargestellte Steuereinrichtung 15 erfolgt die zeitliche Steuerung des Auslesens der Bildsignale der Kamera 7, der zweiten Lichtquelle 10, das Speichern und Auslesen der Bildsignale der Kamera 7 in den oder aus dem ersten bzw. zweiten Bildsignalspeicher 9 bzw. 11, das Steuern des Subtrahierers 12 der Einheit zur Datenreduktion 12.5 und der Recheneinheit 13. In der FIG 3 ist angegeben, daß in Abhängigkeit von den Bildsynchronimpulsen 16 in einem ersten Zyklus 17 die von der Kamera 7 ableitbaren Bildsignale digitalisiert werden, wenn eine Fernsehkamera Anwendung findet, die analoge Signale er- zeugt, und daß diese ersten Bildsignale in den ersten Bildsignalspeicher 9 gespeichert werden (I) . In einem zweiten Zyklus 18 werden die zweiten Bildsignale ggf. digitalisiert und in den zweiten Bildsignalspeicher 11 übertragen (II) . Ferner werden die im ersten und zweiten Bildsignalspeicher 9,11 ge- speicherten Bildsignale voneinander subtrahiert und beispielsweise, aber nicht notwendigerweise, in einen vierten Speicher 19 (FIG 2) gespeichert, auf den die Recheneinheit 13 zugreifen kann (III) . In einem dritten Zyklus 20 werden aktuelle erste Bildsignale ggf. digitalisiert und in den ersten Bildsignalspeicher 9 geschrieben (IV) . Ferner werden die
Bildsignale des ersten und zweiten Bildsignalspeichers 9,11 voneinander subtrahiert und beispielsweise, aber nicht notwendigerweise, in einen dritten Speicher 21 (FIG 2), auf den ebenfalls die Recheneinheit 13 zugreifen kann, übertragen (V) . Ferner werden im dritten Zyklus 20 die im vierten Speicher 19 gespeicherten Differenzsignale hinsichtlich des Ortes des charakteristischen Bereiches 8 ausgewertet (VI) und diesem Ort entsprechende Ortskoordinaten berechnet und ein denen entsprechendes Steuersignal erzeugt (VII) . In einem vierten Zyklus 22 werden aktuelle zweite Bildsignale ggf. digitalisiert und in den zweiten Bildsignalspeicher 11 übertragen (VIII), die Bildsignale der Bildsignalspeicher 9,11 werden subtrahiert und in den vierten Speicher 19 übertragen (IX) . Ferner werden die im dritten Speicher 21 gespeicherten Diffe- renzbildsignale pixelweise differenziert und die somit erhaltenen, dem Unterschied zwischen den Pixeln entsprechenden Differentiationsdaten hinsichtlich des Ortes des charakteristischen Bereiches 8 ausgewertet (X) und diesem Ort entsprechende Ortskoordinaten berechnet und ein denen entsprechendes Steuersignal erzeugt (XI) . In einem fünften Zyklus 23 werden die im vierten Speicher 19 gespeicherten Differenzbildsignale, wie bereits erläutert, hinsichtlich des Ortes des charakteristischen Bereiches 8 ausgewertet (XII) und diesem Ort entsprechende Ortskoordinaten berechnet und ein denen ent- sprechendes Steuersignal erzeugt (XIII) .
Im Rahmen der Erfindung hat es sich als vorteilhaft erwiesen, wenn nur während eines ersten Prozesses, wie eingangs bereits erläutert, alle Zeilen bzw. nur jede beispielsweise zweite oder dritte Zeile der Kamera 7 ausgelesen werden, um den Ort des charakteristischen Bereiches 8 festzustellen.
Zur weiteren Reduzierung der zu verarbeitenden Datenmenge ist es aber vorteilhaft, wenn nach dem ersten Erfassen des Ortes fortlaufend ein zweiter Prozeß durchgeführt wird, bei dem die Verfahrensschritte speichern der ersten und zweiten Bildsignale und subtrahieren der ersten und zweiten Bildsignale zum Erzeugen von Differenzbildsignalen ausgeführt werden und sich die Auswertung der Differenzbildsignale auf einen vorbestimm- ten Bereich 25 (FIG 4) beschränkt, der von den im vorherigen
Prozeß ermittelten Ortskoordinaten des charakteristischen Bereiches 8 abhängt. Ist der charakteristische Bereich 8 die Pupille eines Auges der Person 5, so kann die Pupille nur eine bestimmte Wegstrecke Δx, Δy in einer vorbestimmten Zeit t zurücklegen. Das heißt, ausgehend von ersten ermittelten
Ortskoordinaten PQ sind die weiteren Ortskoordinaten Px des erfaßten charakteristischen Bereiches 8 innerhalb einer vorbestimmten Fläche auf dem Bildwandler der Kamera 7 zu erwarten. Die Größe dieses vorbestimmten Bereiches 25 ist also ab- hängig von der maximalen Geschwindigkeit mit der beispielsweise die Pupille verstellt werden kann und von der Erzeu- gungs- und Auslesezeit der Bildsignale der Kamera 7. Befindet sich der erfaßte Ort des charakteristischen Bereiches 8 im Zentrum dieses vorbestimmten Bereiches 25, so müßte eigent- lieh eine kreisrunde Fläche als vorbestimmter Bereich 25 ausgewertet werden, deren Radius sich aus dem maximalen Verstellweg ergibt. Da es eines erheblich größeren Rechenaufwandes bedarf, eine runde Fläche gegenüber einer quadratischen oder rechteckigen Fläche auszuwerten, wird vorteilhaft, eine quadratische Fläche zur Auswertung, d.h. als vorbestimmter Bereich 25 definiert. Gemäß der FIG 4 gibt Δx und Δy die reale Änderung des ersten erfaßten Ortes 26 in die x- bzw. y- Richtung an. Der vorbestimmte Bereich hat die Abmessungen a,b. Im Mittelpunkt des vorbestimmten Bereiches 25 befindet sich der erste erfaßte Ort 26 z.Z. t = 0; a und b ergeben sich aus der zweifachen Strecke der maximalen Ortsveränderung der Pupille des Auges zwischen der Zeit t = 0 und t = X. Somit sind Δx und Δy immer kleiner als a und b. Zur Definition der Koordinaten des vorbestimmten Bereiches wird folgender Algorithmus ausgeführt:
Z0 = Zeile des Punktes zur Zeit t = 0
Zv = unterste abzutastende Zeile Z0 = oberste abzutastende Zeile
Po = Pixel des Punktes zur Zeit t = 0
Pr = rechteste abzutastende Pixel
Pi = linkeste abzutastende Pixel
Zv Z0 - Consti Z0 = Zv + Consti
Pi Po + Const2
Pr Po + Const2
mit Constx = maximale Bewegung des Auges in y-Richtung, an- gegeben in der Anzahl an Zeilen mit Const2 = maximale Bewegung des Auges in x-Richtung, angegebenen in der Anzahl an Zeilen Der Startpunkt der Abtastung liegt somit bei (Px, Z0) . Durch Addition einer 1 je Pixel wird nach 2*Const2 Schritten der Punkt (Pr, Z0) erreicht. Durch Addition von 128-2*Const2 auf die Adresse des Punktes (PoZ0) startet der Vorgang eine Zeile tiefer erneut. Bei Erreichen des Punktes (PVZV) ist der gesamte relevante Bildbereich abgearbeitet worden. Sollte an dieser Stelle kein Punkt gefunden worden sein, der mit dem erwarteten Ergebnis übereinstimmt, kann der Bereich der Abtastung temporär vergrößert werden. Die Anzahl der zu verarbei- tenden Pixel ergibt sich aus der Formel
Anz. = 2*Constχ + 2*Constι.
Da die maximale Bewegung in der Zeit t (Zeit zur Bildsignal- erfassung) sehr klein ist, kann der relevante Bildbereich im Verhältnis zum Gesamtbild gut um den Faktor 10 verringert werden. Durch diese Maßnahme kann mehr Rechenleistung dem Formenvergleich zugeteilt werden. Da sich die Kamera 7 beispielsweise immer in der relativ zum Kopf gleichen Position befindet, ist das Abbild des charakteristischen Bereiches 8 auf der Kamera 7 insbesondere, wenn es sich um einen vorgegeben Reflektor mit bekannter Größe und Form handelt, genau definiert. Somit können die durch einen Schwellwert selektierten Differentiationsdaten einfach mit in einem internen Spei- eher der Vorrichtung gespeicherten Daten des charakteristischen Bereiches 8 bzw. des Reflektors verglichen werden. Eventuelle Reflexe, die durch die Infrarot-Halbleiterdiode verursacht werden, sind positionstreu und können somit vernachlässigt werden.
Sollte der Zufall es erlauben, daß ein Störeinfluß die gleiche Form wie die gespeicherte Form im Speicher besitzt, muß dieser trotzdem von dem reellen Punkt (Ort des charakteristischen Bereiches 8) unterschieden werden. Hierzu kann dann schließlich nur die Positionsveränderung der Punkte (FIG 4) zur Zeit t = 0 und t = x benutzt werden. Da beide Punkte nur mit einer endlichen Geschwindigkeit die Position verändern können, ist wahrscheinlich der Punkt, welcher näher an dem vorherigen ist, der richtige.
Wird der charakteristische Bereich 8 von der Pupille gebildet, so können sich aufgrund der Größe und in Abhängigkeit von der Auflösung der Kamera 7 eine große Vielfalt an ver- schiedenen Mustern ergeben. Das heißt, die Pupille kann sich bei der Aufnahme durch die Kamera 7 hinsichtlich ihrer Abbildung auf der Kamera 7, der Größe und der Position sehr unterscheiden. Durch die Differentiation der aus der Subtraktion erhaltenen Differenzbildsignale werden durch die hier erfolg- te Datenreduktion nur noch wenige aber aussagekräftige Diffe- rentationsdaten erhalten, die zur weiteren Auswertung zur Verfügung steht. So kann der Rand der Pupille durch Bilden eines Gradienten aus den Differentiationsdaten in x- und y- Richtung in Abhängigkeit von einem vorgebbaren Limit bestimmt werden. Zudem kann eine Schwerpunktberechnung durchgeführt werden, bei der die Summe aller x-Komponenten durch deren Anzahl und die Summe aller y-Komponenten durch deren Anzahl berechnet werden. Der somit ermittelte Schwerpunkt liegt dann im Bereich des Mittelpunktes der Pupille und kann somit für die Bestimmung der Ortskoordinaten herangezogen werden.
Zur detaillierten Erläuterung einer erfindungsgemäßen Vorrichtung wird nachfolgend auf die FIG 6 verwiesen, wo bereits vorgenannte Elemente mit den gleichen Bezugszeichen gekenn- zeichnet sind. Die BAS-Signale der Kamera 7, die die Bildsignale sowie die Synchronimpulse (Zeilen- und Bildsynchronimpulse) umfassen werden hiernach einer ersten Einrichtung 27 und einer zweiten Einrichtung 28 zugeführt. In der ersten Einrichtung 27 werden die Synchronimpulse vom BAS-Signal ab- getrennt. In der zweiten Einrichtung 28 werden die Bildsigna- le von den Synchronimpulsen abgetrennt und verstärkt. Einer Ablaufsteuerung 29 werden die in der ersten Einrichtung 27 abgetrennten Synchronimpulse sowie die Signale eines Taktgebers 30 zugeführt. Aufgrund dieser Signale erzeugt die Ab- laufSteuerung 29 alle zum Funktionsablauf notwendigen Steuersignale. Eine zweite Stufe besteht aus einem Analog/Digital- Wandler 31, dem die verstärkten Bildsignale der zweiten Einrichtung 28 zugeführt werden und der beispielsweise mit einer Samplingfrequenz arbeitet, so daß die Bildsignale mit z.B. ca. 500 Pixel pro Zeile digitalisiert werden. Diese Bildsignale werden, wie bereits erläutert, von der Ablaufsteuerung 29 gesteuert, abwechselnd in den ersten und zweiten Bildsignalspeicher 9,11 geschrieben, wodurch der jeweils andere Speicher die Bildsignale des vorherigen Bildes beinhaltet. Da beide Bildsignalspeicher 9,11 über den gleichen Adreßbus ihre Adresse erhalten, liegt zu jedem Zeitpunkt die Pixelhelligkeit eines Pixels als digitales Wort (8 Bit) vom derzeitigen und vom vorherigen Bild vor. Im Subtrahierer 12 erfolgt die Subtraktion der in den Bildsignalspeichern 9,11 gespeicherten digitalen Informationen der Bildsignale, was vorzugsweise durch eine programmierbare Logik ausgeführt wird. Vom Subtrahierer 12 gehen somit Differenzbildsignale aus, die somit weitestgehend von Reflexen und sonstigen Störeinflüssen bereinigt sind. Die vom Subtrahierer 12 ausgehenden Differenz- bildsignale werden sowohl einem nachgeschalteten Subtraktionssignalspeicher 32 als auch der Einheit zur Datenreduktion 12.5 zugeführt. In dieser Einheit zur Datenreduktion 12.5 erfolgt die Differentiation der vom Subtrahierer 12 erzeugten Differenzbildsignale, wobei aufeinanderfolgende Pixel vonein- ander differenziert werden. Es wird also der Kontrast zwischen diesen Pixeln bestimmt. Die Ergebnisse dieser Differentiation werden als Differentiationsdaten jeweils als digitales Wort in einen Differentiationspeicher 33 gespeichert. Da bei der Differentiation jedoch nicht von vornherein klar ist, ob der Wert eines ersten digitalen Wortes kleiner ist als der zweite oder umgekehrt werden beide Ergebnisse (A-B; B-A) gebildet und durch einen parallel arbeitenden Komparator das richtige Vorzeichen bestimmt. Da bei der Differentiation, beispielsweise nur 7 Bit benutzt werden, weil kaum so große Kontraste zu erwarten sind, wird das 8. Bit als Vorzeichen- Bit benutzt. Somit kann schnell festgestellt werden, ob der Signalwert des Pixels höher oder niedriger, d.h. , das Bild heller oder dunkler wird. Diese Information ist sehr wichtig um zu entscheiden, an welchem Rand des charakteristischen Be- reiches 8 bzw. der Pupille man sich bei der Auswertung befindet. Während der Differentiation wird in einer nachgeschalteten Histogrammeinrichtung 34 ein Histogramm der Differentiationsdaten gebildet, d.h., es wird die Häufigkeit der einzelnen möglichen Kontraste des Bildes ermittelt. Aufgrund der Häufigkeit der verschiedenen im Bild enthaltenen Kontraste kann ein Schwellwert berechnet werden. Hierzu werden die 7 Bit der jeweiligen Differentiationsdaten als Adresse für einen beispielsweise 7xll-Bit-Histogrammspeicher 35 benutzt. Das Vorzeichen-Bit, das angibt, ob die Helligkeit steigt oder fällt, braucht hierbei nicht berücksichtigt zu werden.
In einer der Einheit zur Datenreduktion 12.5 nachgeschalteten Schwellwerteinheit 36 werden die Differentiationsdaten dahingehend ausgewertet, ob sie gemäß dem Ausführungsbeispiel ei- nen vorbestimmten Schwellwert überschreiten. Überschreiten Sie einen vorbestimmten Schwellwert, so wird die jeweilige Adresse in einen nachgeschalteten Adressenspeicher 37 geschrieben. Im Rahmen der Erfindung kann die Auswertung der Differentiationsdaten aber auch dahingehend erfolgen, daß überprüft wird, ob die Differentiationsdaten einen vorgegebenen Schwellwert unterschreiten. Die Recheneinheit 13 wertet dann nur noch die Daten des Histogrammspeichers 35 aus, deren Adressen er aus dem Adressenspeicher 37 erhält. Die zu verarbeitenden Datenmenge ist somit erheblich reduziert. Aus den vom Histogrammspeicher 35 auslesbaren Daten kann die Rechen- einheit 13 auch den Schwellwert berechnen, über welchem die größten Kontraste liegen. Dieser Schwellwert wird dann in die Schwellwerteinheit 36 eingegeben.
Die Recheneinheit 13 kann aber auch noch auf die im Subtraktionsspeicher 32 und die im Differentiationsspeicher 33 gespeicherten Daten zugreifen, so daß kontrolliert werden kann, ob die detektierte Pupille im Zentrum wirklich schwarz ist. Aus den Daten des Differentiationsspeichers 33 kann überprüft werden, ob das 8. (Vorzeichen-) Bit positiv oder negativ ist, wodurch festgestellt werden kann, an welchem Rand des charakteristischen Bereiches 8 man sich bei der Auswertung befindet.
Eine Datenzuführungseinrichtung (z.B. aus einem PC) ist mit dem Bezugszeichen 38 und eine Datenausgabeeinrichtung (z.B. in einen PC) ist mit dem Bezugszeichen 39 gekennzeichnet.

Claims

Patentansprüche
1. Verfahren zum Betrieb einer Vorrichtung zum Erfassen des Ortes zumindest eines charakteristischen Bereiches (8) einer Person (5) und zum Erzeugen eines von diesem Ort abhängigen Steuersignal für ein Gerät, wobei in einem ersten Prozeß die Verfahrensschritte: a) Erzeugen erster und zweiter Bildsignale zumindest des charakteristischen Bereiches (8) mit einer Kamera (7), wobei die ersten Bildsignale mit einer ersten und die zweiten Bildsignale mit der ersten und einer zusätzlichen zweiten Lichtquelle (10) mit zur ersten unterschiedlicher Lichtemission erzeugt werden, b) Subtrahieren der ersten und zweiten Bildsignale zum Erzeugen von Differenzbildsignalen und c) Untersuchen dieser Differenzbildsignale hinsichtlich der vom charakteristischen Bereich (8) erzeugten Signale und Bestimmen der Ortskoordinaten (P) des charakteristischen Bereiches (8) und d) Erzeugen eines von den Ortskoordinaten (P) abhängigen Signales, ausgeführt werden.
2. Verfahren nach Anspruch 1, wobei im Verfahrensschritt a) nur eine begrenzte Anzahl von Zeilen (Z) der Kamera (7) ausgelesen werden und die Zeilensignale dieser Zeilen (Z) Speichern (9,11) zugeführt werden.
3. Verfahren nach Anspruch 1 oder 2 , wobei in einem zweiten sich an den ersten anschließenden Prozeß die Verfahrensschritte a) und b) wiederholt werden und im Verfahrensschritt c) die Untersuchung der Differenzsignale auf einen vorbestimmten Bereich (25) beschränkt wird, der von den aktuellen Ortskoordinaten (P) des charakteristischen Bereiches (8) abhängt.
4. Verfahren nach Anspruch 3 , wobei der vorbestimmte Bereich (25) vergrößert wird, wenn keine vom charakteristischen Bereich (8) ausgehenden Signale bestimmbar sind.
5. Verfahren nach Anspruch 2 oder 4 , wobei der zweite Prozeß fortlaufend wiederholt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei im Verfahrensschritt c) die Differenzbildsignale pixelweise differenziert und die somit erhaltenen Differentiationsdaten dahingehend untersucht werden, welche Daten ein vorgegebenes Limit über- oder unterschreiten und wobei die Ortskoordinaten nur aus den Daten bestimmt werden, die das Limit über- oder unterschreiten.
7. Verfahren nach Anspruch 6 , wobei die Adressen nur der Differentiationsdaten in einen Adressenspeicher (37) gespeichert werden, die das Limit über- oder unterschreiten und, wobei eine Recheneinheit (13) aufgrund der im Adressenspeicher (37) gespeicherten Daten die Ortskoordinaten bestimmt.
8. Verfahren nach Anspruch 7 , wobei die Differentiationsdaten als Histogramm in einen Histogrammspeicher (35) gespeichert werden und wobei die Recheneinheit (13) aufgrund der im Adressen- und Histogrammspeicher (37,35) gespeicherten Daten die Ortskoordinaten berechnet.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei die erste Lichtquelle sichtbares Licht und die zweite
Lichtquelle (10) ein für die Person (5) unsichtbares Licht erzeugt.
10. Verfahren nach Anspruch 9, wobei die zweite Lichtquelle (10) eine Infrarot-Lichtquelle ist.
11. Verfahren nach einem der Ansprüche 1 bis 10, wobei der charakteristische Bereich (8) das Auge, insbesondere die Pupille des Auges, der Person (5) ist.
12. Verfahren nach einem der Ansprüche 1 bis 10, wobei der charakteristische Bereich (8) eine reflektierende Fläche ist, die mit der Person (5) in Verbindung steht.
13. Verfahren nach Anspruch 12 , wobei die reflektierende Fläche auf einer Kontaktlinse ange- ordnet ist.
14. Verfahren nach einem der Ansprüche 1 bis 13 , wobei das Gerät ein medizintechnisches Gerät ist.
15. Verfahren nach einem der Ansprüche 1 bis 13, wobei das Gerät ein Computer ist.
16. Verfahren nach Anspruch 15, wobei der Computer die Steuersignale hinsichtlich der Bewe- gung des charakteristischen Bereiches hinsichtlich der Geschwindigkeit und/oder des Ortes und/oder der Bewegungs- strecke und/oder der Bewegungsstrecken und/oder des zeitlichen Verhaltens auswertet.
17. Verfahren nach einem der Ansprüche 1 bis 16, wobei über das Steuersignal eine Markierung auf eine Anzeigevorrichtung gesteuert wird.
18. Vorrichtung zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 17.
PCT/DE1997/001454 1997-07-09 1997-07-09 Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen Ceased WO1999003066A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US09/462,585 US6231185B1 (en) 1997-07-09 1997-07-09 Process and device for detecting a reflecting surface of a human being
EP97932755A EP0993657A1 (de) 1997-07-09 1997-07-09 Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen
JP2000502477A JP2001509627A (ja) 1997-07-09 1997-07-09 人物の少なくとも１つの特徴領域の位置を検出し、この位置に依存する機器に対する制御信号を発生するための装置を動作するための方法
PCT/DE1997/001454 WO1999003066A1 (de) 1997-07-09 1997-07-09 Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/DE1997/001454 WO1999003066A1 (de) 1997-07-09 1997-07-09 Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen

Publications (1)

Publication Number Publication Date
WO1999003066A1 true WO1999003066A1 (de) 1999-01-21

Family

ID=6918518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1997/001454 Ceased WO1999003066A1 (de) 1997-07-09 1997-07-09 Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen

Country Status (4)

Country Link
US (1) US6231185B1 (de)
EP (1) EP0993657A1 (de)
JP (1) JP2001509627A (de)
WO (1) WO1999003066A1 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0004741D0 (sv) * 2000-12-21 2000-12-21 Smart Eye Ab Image capturing device with reflex reduction
US7305108B2 (en) * 2001-11-08 2007-12-04 Pelco Security identification system
US7180529B2 (en) * 2002-12-19 2007-02-20 Eastman Kodak Company Immersive image viewing system and method
US7450785B2 (en) * 2003-01-22 2008-11-11 Hewlett-Packard Development Company, L.P. Method and device for sorting similar images
US7676110B2 (en) * 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
US7295233B2 (en) * 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7310450B2 (en) * 2003-09-30 2007-12-18 Fotonation Vision Limited Method of detecting and correcting dust in digital images based on aura and shadow region analysis
US7580545B2 (en) * 2005-10-03 2009-08-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for determining gaze direction in a pupil detection system
WO2007095556A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Digital image acquisition device with built in dust and sensor mapping capability
US8199100B1 (en) * 2006-05-31 2012-06-12 The Board Of Trustees Of The Leland Stanford Junior University Display arrangement and approaches therefor
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
CN103902192A (zh) * 2012-12-28 2014-07-02 腾讯科技（北京）有限公司 人机交互操作的触发控制方法和装置
JP2021056164A (ja) * 2019-10-01 2021-04-08 富士ゼロックス株式会社 情報処理装置、発光装置、情報処理システム、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2740998A1 (de) 1977-09-12 1979-03-22 Siemens Ag Roentgendiagnostikeinrichtung fuer durchleuchtung
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
DE19541301C1 (de) 1995-11-06 1997-06-05 Siemens Ag Medizindiagnostikeinrichtung
US5966197A (en) * 1998-04-21 1999-10-12 Visx, Incorporated Linear array eye tracker

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EBISAWA Y ET AL: "Non-invasive eye-gaze position detecting method used on man/machine interface for the disabled", COMPUTER-BASED MEDICAL SYSTEMS. PROCEEDINGS OF THE FOURTH ANNUAL IEEE SYMPOSIUM (CAT. NO.91CH2951-2), BALTIMORE, MD, USA, 12-14 MAY 1991, ISBN 0-8186-2164-8, 1991, LOS ALAMITOS, CA, USA, IEEE COMPUT. SOC. PRESS, USA, pages 374 - 380, XP000350289 *
EBISAWA Y: "Unconstrained pupil detection technique using two light sources and the image difference method", VISUALIZATION AND INTELLIGENT DESIGN IN ENGINEERING AND ARCHITECTURE II, PROCEEDINGS OF 2ND INTERNATIONAL CONFERENCE ON VISUALIZATION TOOLS FOR INTELLIGENT DESIGN IN ENGINEERING AND ARCHITECTURE, LA CORUNA, SPAIN, JUNE 1995, ISBN 1-85312-319-6, 1995, SOUTHAMPTON, UK, COMPUT. MECH. PUBLICATIONS, UK, pages 79 - 89, XP002052717 *

Also Published As

Publication number Publication date
EP0993657A1 (de) 2000-04-19
JP2001509627A (ja) 2001-07-24
US6231185B1 (en) 2001-05-15

Similar Documents

Publication Publication Date Title
DE102007056528B3 (de) Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
DE69837233T2 (de) Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild
EP2828794B1 (de) Verfahren und vorrichtung zum auswerten von ergebnissen einer blickerfassung
DE19581099B4 (de) Optisches Oberflächenabtastgerät und Vermessungsverfahren
EP2157903B1 (de) Verfahren zur wahrnehmungsmessung
DE60028894T2 (de) Präsentationssystem mit einer interaktiven Darstellung
DE69727320T2 (de) Aufnahmeverfahren und gerät
DE10241392A1 (de) Vorrichtung und Verfahren zum Erfassen einer dreidimensionalen Relativbewegung
EP3103059A1 (de) 3d-bildanalysator zur blickrichtungsbestimmung
DE2335769A1 (de) Optisches sichtgeraet
WO1999003066A1 (de) Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen
DE102019100575A1 (de) Verfahren und system zum erzeugen eines bereichsbildes unter verwendung von daten mit geringer tiefe
EP1610270A2 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
DE102020002994A1 (de) Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
WO2017153355A1 (de) Verfahren und vorrichtung zum durchführen einer blickabbildung
EP3537383A1 (de) Schwingungsüberwachung eines objekts mittels videokamera
DE102007033835A1 (de) Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern
DE102022202000A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung für eine Datenbrille und Laservorrichtung
DE102011081541A1 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programmspeicherträger
DE102021133868A1 (de) Mikroskopiesystem und Verfahren zum Modifizieren von Mikroskopbildern im Merkmalsraum eines generativen Netzes
DE102017205386A1 (de) Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug
EP3663981A1 (de) Verfahren zur erfassung von fingerabdrücken
DE602004000471T2 (de) Ophthalmologische Bildverarbeitungsvorrichtung
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
DE102019106258A1 (de) Insassenüberwachungsvorrichtung

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 97182287.5

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1997932755

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09462585

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1997932755

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 1997932755

Country of ref document: EP