[go: up one dir, main page]

WO2017220667A1 - Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers - Google Patents

Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers Download PDF

Info

Publication number
WO2017220667A1
WO2017220667A1 PCT/EP2017/065265 EP2017065265W WO2017220667A1 WO 2017220667 A1 WO2017220667 A1 WO 2017220667A1 EP 2017065265 W EP2017065265 W EP 2017065265W WO 2017220667 A1 WO2017220667 A1 WO 2017220667A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
overlay
field
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/065265
Other languages
English (en)
French (fr)
Inventor
Stefan Zechner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP17151715.4A external-priority patent/EP3349178A1/de
Application filed by Individual filed Critical Individual
Priority to US16/311,401 priority Critical patent/US11281893B2/en
Publication of WO2017220667A1 publication Critical patent/WO2017220667A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the invention relates to a method and a device for changing the affective visual information in the
  • the device has at least one image sensor and at least one display as well as a processing unit, which is connected to the
  • Image sensor and the display is connected, wherein the image sensor is arranged to detect an image of a field of view of the device, wherein the display for superimposing the
  • a field of view of a user is set up in an overlay area of the display with alternative image data.
  • the visual field of the user is that solid angle or region of the outer space, from which at least one eye of the user can record and evaluate light pulses. It is composed of the monocular visual fields of the two eyes. In comparison, the field of vision here is the one
  • the field of view finally refers to the area in the image angle of an optical
  • Instrument or an optical device i. the area of the exterior visible through the device (with an eye) or imageable (e.g., with an image sensor).
  • AR Augmented Reality
  • This device in the manner of a head-mounted viewing device with see-through displays, which can be referred to briefly as "AR glasses.”
  • This device comprises a camera for acquiring images of the environment, in particular a field of view of the device Pictures can
  • Such AR devices generally aim to provide the user with information about those in the environment
  • Video conferencing systems it is known to change by blending certain image areas of the user directly visually perceptible information.
  • US 9,060,095 B2 describes a method in which the face of a participant in a videoconference is replaced by a surrogate image, e.g. one
  • the inventive method for changing the affective visual information in the field of view in particular in
  • Field of view a user of a device having at least one image sensor and at least one display comprises the steps of: capturing an image of a field of view of the device with the image sensor, performing a face recognition with the
  • Device is usually a section of the user's field of vision. It does not necessarily correspond to the area imaged by the image sensor, in particular the
  • Imaged area include the field of view of the device and go beyond this.
  • the image sensor may e.g. Part of a field of view camera that has a larger field of view than the
  • the Device itself has.
  • the device may e.g. a pair of glasses, a camera, binoculars, a visor, or other optical device.
  • the image sensor and the display are part of the same device and preferably have a fixed relative arrangement.
  • Face recognition recognizes the number and positions of faces in the image captured by the image sensor. Such a face recognition can with
  • the superposition of the user's field of view or field of view is achieved in particular by fading into a field of view of the device with the display.
  • Field of view in particular in the field of view of a user, is characterized in that the processing unit
  • Image sensor to detect detected positions of the eyes and mouth of a face detected in the face recognition and to calculate a range of overlay in the display for superimposing the field of view depending on the determined positions of the eyes and mouth.
  • the device is preferably an AR device.
  • the content of the display is controlled using the data captured by the image sensor, with the display and image sensor in the display
  • Overlapping area which depends on the positions of the eyes and mouth of recognized faces, can have a specific
  • this information includes gradual expressions of actual emotions and expressions to cover the actual emotions ("affective facade") or, in the absence of specific emotions, expressions cognitively generated, as
  • the perceptual strength for affective information is individually different and dependent on the mental state as well as genetically predisposed.
  • the display may have a screen or a
  • Display in particular a transparent display, be.
  • the change in the affective visual information corresponds to a gradual decrease or increase in the
  • the affective visual information is preferably not completely erased or overwritten.
  • the gradual reduction or enhancement may be due to local, gradual change in the Transparency of a display can be achieved.
  • the transparency in an overlay area may be lowered to an appropriate percentage, eg 50%.
  • the present method is preferably a method for, in particular, gradual,
  • Reduction / reduction / disturbance or enhancement / increase of the affective visual information in the visual field of a user of the present device Reduction / reduction / disturbance or enhancement / increase of the affective visual information in the visual field of a user of the present device.
  • a smooth transition may be provided at the boundary or edge of the overlay region.
  • the transition region essentially corresponds to a strip along the boundary of the
  • the width of the transition region is preferably adapted to the width of the overlay region; it is e.g. between 5 and 30% of the width of the
  • Overlay range preferably between 15 and 25%.
  • the variation of transparency is preferably linear across the width of the transition region and preferably varies between complete transparency (or maximum transparency of the display used) at the boundary of the overlay region and the selected transparency outside of
  • Transition region i.e., in the remainder of the overlay region
  • complete opacity or minimal
  • the device preferably has two image sensors arranged at a fixed distance from one another. This makes it possible to determine the distance to a detected face, thereby providing a more accurate calculation of the dimensions of the face
  • the device comprises an augmented reality
  • suitable eyewear is available from Osterhout Design Group, 153 Townsend Street, Suite 570 San
  • the overlay region may substantially correspond to a triangle formed between the positions of the two eyes and the mouth. That calculating the overlay area includes connecting the locations and determining the pixels of the display located in the enclosed triangle (s). Alternatively, other geometrical shapes may be used whose size is scaled according to said triangle. For example, a symmetrical trapezoid can be used in which the broader base side is arranged in the region of the eye positions. Optionally, the wider one
  • perceived affective information is reduced to a level corresponding to an average affective perception.
  • the overlay area may also comprise substantially the entire field of view outside a triangle spanned between the positions of the two eyes and the mouth. That In this case, calculating the
  • the affective information perceived by users with unusually weak affective perception can be raised to a level corresponding to an average affective perception.
  • the processing unit of the subject device may preferably include face recognition software.
  • face recognition software By means of the face recognition software, on the one hand, faces in the captured image data can be recognized and the positions of the eyes and mouth of the individual recognized faces can be determined.
  • the alternative image data may preferably correspond to a changed image of the field of view of the device in the overlapping area, wherein the change in the image is a
  • Image resolution a change in the drawing (also referred to as sharpness) and / or the contrast, a color marking (for example by means of a frame and / or a colored tint) and / or a manipulation of the facial features.
  • Perception with at the same time effective disturbance of the affective visual information can with a partially transparent, preferably horizontal, stripe pattern in
  • the number of stripes within a recognized facial area is preferably greater than four and less than 50.
  • the color of the Stripe pattern can be between the color of recognized facial wrinkles (dark) and relatively flat facial areas
  • Signal from the biofeedback sensor is activated.
  • activated stress levels are activated above a predefined threshold, so that below the threshold
  • Overlay is preferably activated only for a fixed short period of time, after the expiry of the unchanged field of view is perceptible again.
  • a biofeedback sensor in particular a stress sensor, e.g. a photoplethysmogram (PPG) or sensor is used to measure skin resistance, skin temperature, heart rate and / or body movement.
  • PPG photoplethysmogram
  • Such a biofeedback sensor is for example the product "Q Sensor” of the company Affectiva, 465 Waverley Oaks Road, Suite 320, Waltham, MA 02452, United States or the products "Embrace” and "E4" of the company Empatica Inc, 1 Broadway, 14th Floor, Cambridge, MA 02142, United States.
  • the subject device a
  • Biofeedback sensor include, wherein the processing unit is connected to the biofeedback sensor and set up, the
  • Biofeedback sensors it is particularly advantageous if a
  • the extent of the change in the image as a function of the signal of the stress sensor is determined. For example, in this way with increasing stress levels a stronger
  • the alternative image data may correspond to a reference recording of the superimposed face region.
  • the reference scan can be stored at a detected low or normal stress level.
  • the reference image shows a facial expression with low visual affective information and / or with positive or reassuring visual affective information. Once a high level of stress is detected, the reference image can be used to superimpose the same face. For scaling and
  • Face area can be a particularly natural picture
  • Overlay area to be considered in the display provides. Calibration allows the overlay area to be calculated more accurately so that a specific overlay of certain, well-defined areas in the field of view of the
  • Biofeedback sensor in particular a coupled stress sensor, is activated (e.g., by measuring pulse rate,
  • Muscle tone, EEG measurement and / or skin conduction velocity i. if a signal of a coupled biofeedback sensor exceeds a predefined threshold, and / or if the
  • Face recognition e.g., in the form of a
  • Facial recognition software an affective deflection or
  • Such user notification or notification may be accompanied by a haptic signal (e.g., vibration), audible signal (e.g., alarm), or optical signal (e.g., flashing)
  • a haptic signal e.g., vibration
  • audible signal e.g., alarm
  • optical signal e.g., flashing
  • the subject device may preferably comprise a notification device, which is set up for the delivery of an optical, acoustic or haptic signal, wherein the processing unit with the
  • Notification device is connected and arranged to trigger an optical, acoustic or haptic signal when a specific affective pattern and / or a
  • affective pattern is here understood to mean both an affective response of the user of the device, which e.g. can be detected by means of a biofeedback sensor, as well as an affective response of the counterpart, i. to the
  • At least one recognized face which can be determined for example in the context of facial recognition based on the facial expression.
  • a specific affect assigned person can, for example, in the context of an additional voice recognition in conjunction with a database of previously stored as a stressor persons or their
  • the notification allows a user with low affective perceptiveness to become aware of the affective information conveyed by a counterpart or
  • the superimposition can be activated in dependence on the above-mentioned voice recognition, wherein the
  • Overlay is only activated when the voice of a person deposited in a designated database (by stressors) is recognized.
  • Overlay can be activated in response to the identification of a detected face, the overlay is activated only when the face of a person deposited in a designated database (of stressors) is detected and identified.
  • At least three operating modes can be selected by the user:
  • Invention also a method for measuring the sensitivity a subject for affective visual information, in particular for the sole or supplementary diagnosis of anxiety disorders and depressions in general, and especially the diagnosis of AD (H) S or diseases of the autistic type.
  • This method comprises the above described method for altering the affective visual information, wherein the subject is the user of the device according to the invention and wherein the overlay is varied over time (eg deactivated for a few minutes alternately, then for a few minutes
  • a measure of the sensitivity for affective visual information can be derived or at least a insensitivity can be determined.
  • the invention relates to the use of a
  • a method or a device of the type described above for preventing stressful social situations, for preventing anxiety disorders and depressions, or for reducing stress in a part of depressive and anxiety-afflicted persons.
  • the variance of the perception of emotions can in depressive diseases and anxiety disorders, in the respective causation,
  • the ideal type in (a) corresponds to a strong perception of the affects on the face of a person seen, e.g. for AD (H) S (ICD-10 code F90.-) and for (b) a low to absent perception in this area, e.g. in autism
  • Idealtypus can be divided into appropriate groups and it can lead to misunderstandings regarding the semantics of emotional perception or affect perception, because most people assume that the other person has the same
  • Fig. 1 shows schematically a part of an inventive
  • FIG. 2 shows schematically a block diagram of the functional elements of a device according to the invention
  • 3 is a schematic illustration of the calculation of an overlay area
  • Fig. 4 is an application example of the invention
  • FIG. 5 schematically shows an elliptical overlay region with a transition region with a linearly outwardly increasing transparency
  • 6A, 6B, 6C and 6D show four application examples for an elliptical overlay region with a transition area with linearly outwardly increasing transparency at respectively different widths of the transition area;
  • FIG. 7 shows schematically a flow diagram of a method for using a reference recording for superimposing a
  • FIG. 1 shows a simplified representation of AR glasses 1, such as that of Osterhout Design Group (ODG)
  • the glasses of the AR glasses 1 are two displays 2, each as a transparent display
  • Processing unit (not shown) generated with the operating system (OS) Android with the OS extension "ReticleOS"
  • a built-in AR glasses 1 camera 3 includes a
  • Image sensor and provides a picture of the environment.
  • the field of view of the camera 3 essentially covers the half space in front of the
  • the field of view of the AR glasses 1 corresponds to that part of the field of view of a user who through the
  • Eyeglass lenses is perceived.
  • the image of the environment acquired by the camera 3 is transmitted via a wiring in the spectacle frame 4 and a connecting line 5 to a processing unit 6 (see Fig. 2) transmitted and there continuously from a
  • Face recognition software analyzes which outputs the coordinates of the face (s) in the environment.
  • An application program running on the processing unit 6 first determines the distance of the detected face from the previously calibrated eye distance. Then it calculates continuously from the coordinates and in the context of the calibration
  • the structure of the application program allows the integration of software extensions. These include, for example, extensions to the current change of the used for the crossfade
  • the application program can thus be e.g. expand to the effect that the face used is the face taken with the camera, recognized and output by the face recognition software and in which the facial features have been manipulated in a targeted manner.
  • the processing unit 6 may optionally be connected to sensors 7 and input elements 8.
  • the sensors 7 may include a biofeedback sensor for measuring stress parameters.
  • the measured parameters can be used to evaluate the data of the facial recognition software and assign a quality. For this, e.g. Measurements of the skin resistance, the skin temperature, the
  • Heart rate or the movement of the body can be used as a stress parameter.
  • the processing unit 6 forms together with the AR glasses 1 a device according to the invention. This is also with a Power management unit 9 and a rechargeable battery 10 connected.
  • the superposition of the field of view by means of the AR glasses 1 can in principle be used for two types of influencing: First, a reduction of the affective information content by a generic change of the image data (brightness, contrast, drawing, etc.) or, secondly, an overlay of the face with a another face or face of the same person with a modify affective information content,
  • the degree of acceptable influence on the communication is limited by the communicative plausibility and is, in accordance with the psychiatric classification of the
  • the eyes AL (left eye) and AR (right eye) of an observing subject are schematic shown.
  • the eyes AL, AR are each through the
  • the centers of the pupils are plotted with PL and PR for the pupil of the left and right eye.
  • the plug a PD corresponds to the measured pupil distance and represents the distance between the centers of the two eyes AL, AR.
  • the subject wears AR glasses with two displays 2 as
  • Eyeglass lenses which are realized as transparent displays.
  • DL designates the left lens or display and DR the right one from the perspective of the subject.
  • the points DL and DR are as
  • the coordinates x and y refer to the coordinate system whose origin lies at the center of the image sensor 14 or in the left or right display DL, DR. Where x is the horizontal coordinate and y is the vertical coordinate. The indices indicate which coordinate system is involved. So relate the
  • the coordinates x c and y c refer to that coordinate system whose origin in the center of the image sensor 14th lies.
  • the displays 2 and the image sensor 14 of the camera 11 are parallel to the xy plane in space.
  • the normal z-coordinate corresponds to the direction of the camera.
  • the image plane of FIG. 3 corresponds to the xz-plane in space.
  • the other person whose facial features are read is called an object (0).
  • the eyes of the observer / subject (S) facing face of the object are referred to from the point of view of the subject with OL for the left eye and OR for the right eye.
  • the mouth is referred to as OM, whose facial center as OC.
  • Distances in the x-direction are denoted by a, those in the y-direction by d and those in the z-direction by b. This choice
  • the drawing according to FIG. 3 represents the projection of the plugs in space onto the xz plane.
  • f be the distance of the diaphragm 13 to the image sensor 14, which is known by the knowledge of the camera used.
  • Let b c be the still unknown distance of the camera 11 to the object (0).
  • the image on the image sensor 14 results in the removal of the image of the left eye OL of the object on the image sensor 14 to the central axis XC, OL and the distance of the image of the right eye OR of the object on the image sensor 14 to the central axis XC, OR-
  • the ray triangles to the right of (in front of) the diaphragm 13 to the object and to the left of (behind) the diaphragm 13 to the image sensor 14 are similar. It therefore applies:
  • the eye distance of the object 1 0 , PD (or short 1) is assumed with an average value of 65 mm and
  • the distance of the camera to the object b c and the distance a c , oc of the center of the face OC of the object from the central axis of the camera 11 can be calculated.
  • the dimming point is manually displaceable.
  • the eye center is then calculated from DB or the coordinate transformation is iteratively approximated from all manual interventions.
  • Overlap range can be assumed from the eye center point, since the triangle (in the x-z plane) from the eye center point to OL and OR completely overlaps the triangle from the pupil to the OL.
  • Opposite / object i. the error of the assumed average value of 65 mm. An error calculation then gives the necessary increase in the extent of the
  • the distance b c of the cameras 11, 12 to the object then corresponds to the height of the triangle. It is therefore no longer dependent on the estimation of the eye distance of the object and can on the above-mentioned error calculation and the resulting
  • FIG. 4 is an example of application of the method according to the invention with reference to an exemplary AR glasses 15 is shown schematically.
  • a field of view camera 16 at the front of the AR glasses 15 captures an image of the field of view 17 of the AR glasses 15 with an integrated image sensor.
  • An integrated image sensor An integrated
  • Processing unit performs a face recognition with the captured image to detect at least one face 18. The position of the eyes and mouth of the recognized
  • Overlay areas 19, 20 calculated in the displays 21, 22 of the AR glasses 15 in dependence on the determined positions of the eyes and mouth (see Fig. 3 and related
  • the alternative image data are each partially transparent black areas, thus providing a local darkening of the visual field in the
  • the alternative image data may be formed by partially transparent skin-colored areas, which is less irritating than black areas. Outside the overlapping areas 19, 20, the displays 21, 22
  • Face 18 is on the ads 21, 22 just for the better Understanding the arrangement of the overlay areas 19, 20 drawn in and is the perspective of the user of the AR glasses 15, ie, which through the displays 21, 22 through looks.
  • Fig. 5 is a schematic view through one of the displays 21, 22 with an elliptical overlay region 23 to
  • Overlay area 23 comprises a transition area 25 with a linearly outwardly increasing transparency. Outside the transition region 25, the transparency of the
  • Overlay area 23 substantially constant.
  • the width of the transition region 25 corresponds to about 10% of the width of the
  • FIGS. 6A, 6B, 6C and 6D show four application examples for the transition region described in connection with FIG. In each case, a face with an elliptical, skin-colored overlay region 23 is shown. Overlay area 23 covers substantially the entire facial area between the ears and from the chin to the hairline. In Fig. 6A, the overlay region 23 is shown without transition region 25; this corresponds to a width of the transition region 25 of zero. FIGS. 6B, 6C and 6D show the overlapping region 23 with a transition region 25 according to FIG. 5. The width of the transition region 25 is 10% of the width of the in Fig. 6B
  • FIG. 7 shows a simplified flow diagram of a method for using a reference recording to superimpose a face region according to an embodiment of the present invention
  • a loop 27 is waited until a facial recognition 28 detects a face in the image data captured by the image sensor 14.
  • a stress level is determined by means of a stress sensor (for example, a biofeedback sensor)
  • Face area of the recognized face stored as a reference shot (storage 31). Together with the reference image, the positions of the vertices of the eye-eye-mouth triangle in the reference image are determined and stored (detection and storage 32) in order to accelerate later scaling and alignment of the reference image. If the stress level is high (path 33), a current reference shot is loaded
  • the reference image is scaled, rotated, and translated to size
  • Adjusted orientation and position of the detected face and then displayed as alternative image data in the display 21, 22 (Adjust and Show 35). Subsequently, it is checked whether further faces were detected (check 36). If not, the stress level is redetermined and the use of the overlay re-evaluated and, if necessary, the fit updated (loop 37). If so, it will

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren und Vorrichtung zur Veränderung der affektiven visuellen Information im Gesichtsfeld eines Benutzers der Vorrichtung mit zumindest einem Bildsensor (14) und zumindest einer Anzeige (2), umfassend die Schritte: Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor (14), Durchführen einer Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts, Ermitteln der Positionen von Augen und Mund des erkannten Gesichts, Berechnen eines Überlagerungsbereichs in der Anzeige (2) der Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund, Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten.

Description

Verfahren und Vorrichtung zur Veränderung der affektiven visuellen Information im Gesichtsfeld eines Benutzers
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Veränderung der affektiven visuellen Information im
Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers. Die Vorrichtung weist zumindest einen Bildsensor und zumindest eine Anzeige sowie eine Verarbeitungseinheit auf, die mit dem
Bildsensor und der Anzeige verbunden ist, wobei der Bildsensor zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige zum Überlagern des
Gesichtsfelds eines Benutzers in einem Überlagerungsbereich der Anzeige mit alternativen Bilddaten eingerichtet ist.
Als Gesichtsfeld des Benutzers wird hier jener Raumwinkel bzw. Bereich des Außenraums bezeichnet, aus dem zumindest ein Auge des Benutzers Lichtimpulse aufnehmen und auswerten kann. Es setzt sich aus den monokularen Gesichtsfeldern der beiden Augen zusammen. Im Vergleich dazu wird als Blickfeld hier jener
Bereich bezeichnet, der alle bei ruhiger Kopf- und Körperhaltung mit den Augen nacheinander zentral fixierbaren Sehobjekte im Außenraum enthält; dieser Bereich wird genauer auch als
monokulares Blickfeld bezeichnet. Das Sichtfeld bezeichnet schließlich den Bereich im Bildwinkel eines optischen
Instruments oder einer optischen Vorrichtung, d.h. den durch die Vorrichtung sichtbaren (mit einem Auge) oder abbildbaren (z.B. mit einem Bildsensor) Bereich des Außenraums.
Es sind Vorrichtungen und Verfahren bekannt, mit denen eine Einblendung von zusätzlicher, d.h. über die Wiedergabe der Umgebung hinausgehender, Information im Gesichtsfeld eines Benutzers möglich ist. Solche Vorrichtungen und Verfahren werden unter dem Begriff „Augmented Reality" (AR) zusammengefasst .
Beispielsweise zeigt die US 2011/0214082 AI eine solche
Vorrichtung in der Art einer am Kopf getragenen (Head-Mounted) Sichtvorrichtung mit Durchsicht-Displays, die kurz als „AR- Brille" bezeichnet werden kann. Diese Vorrichtung umfasst eine Kamera zur Erfassung von Bildern der Umgebung, insbesondere eines Sichtfelds der Vorrichtung. Diese Bilder können
verarbeitet und die Ergebnisse der Verarbeitung zur Auswahl der eingeblendeten Information verwendet werden. Derartige AR- Vorrichtungen verfolgen generell das Ziel, den Benutzer mit Information zu versorgen, die über die in der Umgebung
unmittelbar optisch wahrnehmbare Information hinaus geht („to augment" bedeutet erweitern, anreichern) und sich davon
unterscheidet .
In einem anderen technischen Zusammenhang, bei
Videokonferenzsystemen, ist es bekannt, durch Überblendungen bestimmter Bildbereiche die vom Benutzer unmittelbar optisch wahrnehmbare Information zu verändern. Die US 9,060,095 B2 beschreibt ein Verfahren, bei dem das Gesicht eines Teilnehmers an einer Videokonferenz durch ein Ersatzbild, z.B. ein
schematisches Gesicht oder ein fremdes Gesicht, ersetzt wird. Damit wird das Ziel verfolgt, die Identität des Teilnehmers vor den anderen Teilnehmern der Videokonferenz zu verbergen. Das überblendete Gesicht des betreffenden Teilnehmers ist für die anderen Teilnehmern nicht sichtbar oder erkennbar. Ein solcher Schutz der Identität ist naturgemäß nicht auf AR-Anwendungen übertragbar, weil ein Träger einer AR-Vorrichtung wie oben beschrieben diese abnehmen kann, um das tatsächliche Gesicht seines Gegenüber zu sehen. Dementsprechend würde es dem Zweck des Verfahrens zuwider laufen, es für Personen in der Umgebung eines Trägers einer AR-Vorrichtung verwenden zu wollen.
Es ist eine Aufgabe der Erfindung, ein Verfahren und eine
Vorrichtung vorzuschlagen, mit denen eine Anpassung der
affektiven Perzeption eines Benutzers beim Betrachten seiner Umgebung erzielbar ist.
Das erfindungsgemäße Verfahren zur Veränderung der affektiven visuellen Information im Gesichtsfeld, insbesondere im
Blickfeld, eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor und zumindest einer Anzeige umfasst die Schritte: Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor, Durchführen einer Gesichtserkennung mit dem
erfassten Bild zur Erkennung zumindest eines Gesichts, Ermitteln der Positionen von Augen und Mund des erkannten Gesichts,
Berechnen eines Überlagerungsbereichs in der Anzeige der
Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund, und Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige mit alternativen Bilddaten. Das Sichtfeld der
Vorrichtung ist in der Regel ein Ausschnitt aus dem Gesichtsfeld des Benutzers. Es entspricht nicht notwendiger Weise dem vom Bildsensor abgebildeten Bereich, insbesondere kann der
abgebildete Bereich das Sichtfeld der Vorrichtung umfassen und über dieses hinaus gehen. Der Bildsensor kann z.B. Teil einer Blickfeldkamera sein, die ein größeres Sichtfeld als die
Vorrichtung selbst hat. Die Vorrichtung kann z.B. eine Brille, eine Kamera, ein Fernglas, ein Visier, oder eine andere optische Vorrichtung sein. Der Bildsensor und die Anzeige sind Teil derselben Vorrichtung und haben vorzugsweise eine feste relative Anordnung. Bei der Gesichtserkennung werden die Anzahl und die Positionen von Gesichtern in dem mit dem Bildsensor erfassten Bild erkannt. Eine solche Gesichtserkennung kann mit
herkömmlichen Mitteln und Algorithmen erfolgen. Beim Berechnen des Überlagerungsbereichs werden im Wesentlichen die Position und Abmessungen des Überlagerungsbereichs in der Anzeige
berechnet. Das Überlagern des Gesichtsfelds oder Blickfelds des Benutzers wird insbesondere durch Einblenden in ein Sichtfeld der Vorrichtung mit der Anzeige erzielt.
Die erfindungsgemäße Vorrichtung der eingangs angeführten Art zur Veränderung der affektiven visuellen Information im
Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers, ist dadurch gekennzeichnet, dass die Verarbeitungseinheit
eingerichtet ist, eine Gesichtserkennung mit einem vom
Bildsensor erfassten Bild durchzuführen, Positionen von Augen und Mund eines bei der Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen. Bei der Vorrichtung handelt es sich vorzugsweise um eine AR-Vorrichtung . Der Inhalt der Anzeige wird unter Verwendung der vom Bildsensor erfassten Daten gesteuert, wobei sich Anzeige und Bildsensor im
Wesentlichen am selben Ort befinden, namentlich als Teil
derselben Vorrichtung.
Durch das Überlagern des Gesichtsfelds des Benutzers in einem Überlagerungsbereich, welcher von den Positionen von Augen und Mund erkannter Gesichter abhängt, kann eine spezifische
Überlagerung dieser Gesichter erzielt werden, welche für eine Regulation der visuellen Wahrnehmung von Affekten an Personen im Gesichtsfeld bzw. Blickfeld des Benutzers verwendet werden kann.
Es hat sich herausgestellt, dass eine solche Regulation der visuellen Wahrnehmung von Affekten einen signifikanten Einfluss auf die Empathiefähigkeit der so unterstützten Personen hat. Beispielsweise konnte bei Personen mit AD(H)S ein positiver Einfluss einer solchen Regulation auf das Selbstvertrauen und eine auf eine gute Selbstwirksamkeit festgestellt werden.
Außerdem können Stressreaktionen in der sozialen Interaktion kontrolliert und gedämpft werden.
Als affektive Information werden in diesem Zusammenhang
sämtliche Signale bezeichnet, welche eine Emotion eines
Individuums ausdrücken. Abhängig von der psychischen Verfassung des Individuums umfassen diese Informationen graduelle Ausdrücke tatsächlicher Emotionen und Ausdrücke zur Überdeckung der tatsächlichen Emotionen („affektive Fassade") bzw. bei Fehlen spezifischer Emotionen Ausdrücke kognitiv erzeugter, als
erwartet oder nützlich eingeschätzter Emotionen. Ebenso wie die Ausdrucksstärke ist auch die Perzeptionsstärke für affektive Informationen individuell verschieden und abhängig von der psychischen Verfassung sowie auch genetisch veranlagt.
Das Überlagern des Gesichtsfelds umfasst vorzugsweise ein
Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige.
Dementsprechend kann die Anzeige ein Bildschirm oder ein
Display, insbesondere ein transparentes Display, sein.
Vorzugsweise entspricht die Veränderung der affektiven visuellen Information einer graduelle Senkung oder Verstärkung der
affektiven visuellen Information. D.h. die affektive visuelle Information wird vorzugsweise nicht vollständig gelöscht oder überschrieben. Die graduelle Senkung oder Verstärkung kann beispielsweise durch lokale, graduelle Veränderung der Durchsichtigkeit eines Displays erzielt werden. Beispielsweise kann die Durchsichtigkeit in einem Überlagerungsbereich auf einen geeigneten Prozentsatz, z.B. auf 50 %, gesenkt werden.
Dementsprechend ist das vorliegende Verfahren vorzugsweise ein Verfahren zur, insbesondere graduellen,
Verringerung/Senkung/Störung oder Verstärkung/Steigerung der affektiven visuellen Information im Gesichtsfeld eines Benutzers der vorliegenden Vorrichtung.
Vorteilhafter Weise kann ein fließender Übergang an der Grenze oder Kante des Überlagerungsbereichs vorgesehen sein.
Beispielsweise kann ein gradueller Kantenverlauf mittels
linearer Variation der Durchsichtigkeit erzielt werden. Dabei kann die Durchsichtigkeit in einem Übergangsbereich des
Überlagerungsbereichs an der Grenze des Überlagerungsbereichs in Richtung normal zu der Grenze des Überlagerungsbereichs von innerhalb des Überlagerungsbereichs nach außerhalb des
Überlagerungsbereichs zunehmen. Der Übergangsbereich entspricht im Wesentlichen einem Streifen entlang der Grenze des
Überlagerungsbereichs. Die Breite des Übergangsbereichs ist vorzugsweise an die Breite des Überlagerungsbereichs angepasst; sie beträgt z.B. zwischen 5 und 30 % der Breite des
Überlagerungsbereichs, vorzugsweise zwischen 15 und 25 %. Die Variation der Durchsichtigkeit ist vorzugsweise linear über die Breite des Übergangsbereichs und variiert vorzugsweise zwischen vollständiger Durchsichtigkeit (oder maximaler Durchsichtigkeit der verwendeten Anzeige) an der Grenze des Überlagerungsbereichs und der gewählten Durchsichtigkeit außerhalb des
Übergangsbereichs (d.h. im Rest des Überlagerungsbereichs), z.B. vollständiger Undurchsichtigkeit (oder minimaler
Durchsichtigkeit der Anzeige) . Der Durch den Übergangsbereich erzielte fließende Übergang verringert eine durch die
Überlagerung verursachte Irritation des Benutzers.
Vorzugsweise weist die Vorrichtung zwei voneinander in einem festen Abstand angeordnete Bildsensoren auf. Dadurch wird die Bestimmung des Abstands zu einem erkannten Gesicht ermöglicht, wodurch eine genauere Berechnung der Abmessungen des
Überlagerungsbereichs in der Anzeige ermöglicht wird. Besonders bevorzugt umfasst die Vorrichtung eine Augmented
Reality Brille. Geeignete Brillen werden beispielsweise von Osterhout Design Group, 153 Townsend Street, Suite 570 San
Francisco, CA 94107 angeboten, insbesondere deren Produkte „R-6" oder „R-7 Smartglasses System".
Der Überlagerungsbereich kann im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entsprechen. D.h. das Berechnen des Überlagerungsbereichs umfasst ein Verbinden der Positionen und Ermitteln der in dem (oder den) eingeschlossenen Dreieck (en) angeordneten Bildpunkte der Anzeige. Alternativ können auch andere geometrische Formen verwendet werden, deren Größe entsprechend dem besagten Dreieck skaliert wird. Beispielsweise kann ein symmetrisches Trapez verwendet werden, bei dem die breitere Grundseite im Bereich der Augenpositionen angeordnet ist. Optional kann die breitere
Grundseite durch ein Rechteck nach oben verlängert sein. Es hat sich herausgestellt, dass im Bereich des Auge-Auge-Mund Dreiecks die größte affektive Datenmenge transportiert wird, insbesondere durch die mimische Muskulatur. Ein vergleichsweise geringerer Teil der affektiven Information wird in der üblichen
zwischenmenschlichen Interaktion durch die Stimmlage und die Körperhaltung vermittelt. Ein Überlagern der Informationen in diesem Bereich des Gesichtsfelds hat daher eine Verringerung der vom Benutzer wahrgenommenen affektiven Information zur Folge, was zur Regulation genutzt werden kann. Somit kann die von
Benutzern mit ungewöhnlich starker affektiver Perzeption
wahrgenommenen affektiven Information auf ein Niveau gesenkt werden, welches einer durchschnittlichen affektiven Perzeption entspricht .
Andererseits kann der Überlagerungsbereich auch im Wesentlichen das gesamte Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfassen. D.h. in diesem Fall umfasst das Berechnen des
Überlagerungsbereichs ein Verbinden der Positionen und Ermitteln der außerhalb des oder der eingeschlossenen Dreiecks bzw.
Dreiecke angeordneten Bildpunkte der Anzeige. Ein Überlagern des Bereichs außerhalb der so genannten Auge-Auge-Mund Dreiecke ermöglicht ein Hervorheben der Auge-Auge-Mund Dreiecke und ein Lenken der Aufmerksamkeit auf diese Dreiecke, z.B. durch
Abblenden des übrigen, überlagerten Bereichs. Die Überlagerung hat dann eine Verstärkung der vom Benutzer wahrgenommenen affektiven Information zur Folge. Somit kann die von Benutzern mit ungewöhnlich schwacher affektiver Perzeption wahrgenommenen affektiven Informationen auf ein Niveau gehoben werden, welches einer durchschnittlichen affektiven Perzeption entspricht.
Die Verarbeitungseinheit der gegenständlichen Vorrichtung kann vorzugsweise eine Gesichtserkennungssoftware aufweisen. Mittels der Gesichtserkennungssoftware können einerseits Gesichter in den erfassten Bilddaten erkannt und die Positionen von Augen und Mund der einzelnen erkannten Gesichter bestimmt werden.
Die alternativen Bilddaten können vorzugsweise einer veränderten Abbildung des Sichtfelds der Vorrichtung im Überlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine
Veränderung der Helligkeit, eine Verringerung einer
Bildauflösung, eine Veränderung der Zeichnung (auch als Schärfe bezeichnet) und/oder des Kontrastes, eine farbliche Markierung (z.B. mittels eines Rahmens und/oder einer farblichen Tönung) und/oder eine Manipulation der Gesichtszüge umfasst. Die
genannten Veränderungen der Abbildung erhalten einen Teil der ursprünglichen Information im Überlagerungsbereich. D.h. es werden nicht alle optischen Informationen im
Überlagerungsbereich ersetzt. Dadurch ist die Überlagerung weniger auffällig für den Benutzer, sodass dessen Aufmerksamkeit nicht ungewollt auf den Überlagerungsbereich gelenkt wird. Eine solche für die Umgebung unwillkürlich erscheinende Ablenkung könnte unnatürlich und irritierend auf ein Gegenüber des
Benutzers wirken, was mit den vorgeschlagenen Veränderungen vermeidbar ist. Als besonders günstig hat sich eine im
Wesentlichen hautfarbene Färbung im Überlagerungsbereich
herausgestellt. Eine besonders geringe Irritation der
Wahrnehmung bei zugleich effektiver Störung der affektiven visuellen Information kann mit einem teilweise transparenten, vorzugsweise horizontalen, Streifenmuster im
Überlagerungsbereich erzielt werden. Die Anzahl der Streifen innerhalb eines erkannten Gesichtsbereichs ist vorzugsweise größer als vier und kleiner als 50. Die Farbe des Streifenmusters kann zwischen der Farbe von erkannten Gesichtsfalten (dunkel) und relativ planen Gesichtsflächen
(hell) variieren und so auf das jeweils erkannte Gesicht abgestimmt sein.
Weiters ist es günstig, im Rahmen des vorliegenden Verfahrens ein Erfassen des Signals zumindest eines Biofeedback-Sensors vorzusehen, wobei die Überlagerung in Abhängigkeit von dem
Signal des Biofeedback-Sensors aktiviert wird. Vorzugsweise kann eine Überlagerung nur bei einem vom Biofeedback-Sensor
ermittelten Stress-Level oberhalb einer vordefinierten Schwelle aktiviert werden, sodass unterhalb der Schwelle eine
unveränderte Wahrnehmung der Umgebung möglich ist. Die
Überlagerung wird dabei vorzugsweise nur für eine festgelegte kurze Zeitspanne aktiviert, nach deren Ablauf wieder das unveränderte Sichtfeld wahrnehmbar ist. Als Biofeedback-Sensor kann insbesondere ein Stress-Sensor, z.B. ein Photoplethysmogram (PPG) oder ein Sensor zur Messung des Hautwiderstands, der Hauttemperatur, der Herzfrequenz und/oder der Bewegung des Körpers verwendet werden. Ein derartiger Biofeedback-Sensor ist beispielsweise das Produkt „Q Sensor" der Firma Affectiva, 465 Waverley Oaks Road, Suite 320, Waltham, MA 02452, United States oder die Produkte „Embrace" und „E4" der Firma Empatica Inc, 1 Broadway, 14th Floor, Cambridge, MA 02142, United States.
Dementsprechend kann die gegenständliche Vorrichtung einen
Biofeedback-Sensor umfassen, wobei die Verarbeitungseinheit mit dem Biofeedback-Sensor verbunden und eingerichtet ist, die
Überlagerung in Abhängigkeit von einem Signal des Biofeedback- Sensors zu aktivieren.
Im Zusammenhang mit der Auswertung des Signals eines
Biofeedback-Sensors ist es besonders vorteilhaft, wenn ein
Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Stress-Sensors ermittelt wird. Beispielsweise kann auf diese Weise mit zunehmenden Stress-Level eine stärkere
Abbiendung der affektiven Information vorgenommen werden und umgekehrt. Dadurch kann ein negativer Kreislauf, bei dem die Wahrnehmung des Gegenübers von erhöhtem Stress beim Benutzer zu einer affektiven Information beiträgt, die den Stress weiter erhöht, frühzeitig durchbrochen werden. Zugleich kann die
Veränderung der Abbildung auf jene Situationen beschränkt werden, in denen sie erforderlich oder hilfreich ist (z.B. bei Stress oder Angst) . Außerhalb dieser Situationen wird die
Veränderung der affektiven Information auf ein Minimum
beschränkt, sodass eine natürliche gegenseitige Wahrnehmung erzielt wird.
Ebenfalls im Zusammenhang mit dem Erfassen des Signals zumindest eines Biofeedback-Sensors können im Rahmen des vorliegenden Verfahrens die alternativen Bilddaten einer Referenzaufnahme des überlagerten Gesichtsbereichs entsprechen. Die Referenzaufnahme kann bei einem festgestellten geringen oder normalen Stress- Level gespeichert werden. Somit zeigt die Referenzaufnahme beispielsweise einen Gesichtsausdruck mit geringer visueller affektiver Information und/oder mit positiver oder beruhigender visueller affektiver Information. Sobald ein hohes Stress-Level festgestellt wird, kann die Referenzaufnahme zur Überlagerung desselben Gesichts verwendet werden. Zur Skalierung und
Ausrichtung der Referenzaufnahme wird das sowohl in der
Referenzaufnahme als auch im Überlagerungsbereich erkannte Auge- Auge-Mund Dreieck verwendet. Durch die Überlagerung z.B. eines Gesichtsbereichs mit einer Referenzaufnahme desselben
Gesichtsbereichs kann ein besonders natürliches Bild und
folglich eine besonders geringe Irritation des Benutzers erzielt werden .
Bei Vorrichtungen, bei denen abhängig von der Augenposition des Benutzers bei der Verwendung der Vorrichtung von der Position der Augen abhängt, ist es vorteilhaft, wenn das vorliegende Verfahren vor dem Berechnen des Überlagerungsbereichs, ein
Kalibrieren der Anzeige der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines
Überlagerungsbereichs in der Anzeige berücksichtigt werden, vorsieht. Durch die Kalibrierung kann der Überlagerungsbereich genauer berechnet werden, sodass eine gezielte Überlagerung bestimmter, genau abgegrenzter Bereiche im Sichtfeld der
Vorrichtung ermöglicht wird. Ohne eine Kalibrierung muss demgegenüber der Fehler einer Schätzung des Augenabstands und der Distanz zur Anzeige berücksichtigt werden, weshalb ein vergleichsweise größerer Überlagerungsbereich berechnet werden muss, um die gewünschte Überlagerung zuverlässig zu erzielen.
Weiters hat es sich als günstig herausgestellt, im Rahmen des gegenständlichen Verfahrens ein Auslösen einer optionalen
Benutzerbenachrichtigung vorzusehen, wenn ein gekoppelter
Biofeedback-Sensor, insbesondere ein gekoppelter Stresssensor, aktiviert wird (z.B. mittels Messung von Pulsfrequenz,
Muskeltonus, EEG-Messung und/oder Hautleitgeschwindigkeit), d.h. wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte Schwelle überschreitet, und/oder wenn die
Gesichtserkennung (z.B. in Form einer
Gesichtserkennungssoftware) eine affektive Auslenkung oder
Resonanz oberhalb einer vordefinierten Schwelle an einem
erkannten Gesicht (d.h. an der Person gegenüber) detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde. Eine solche Benutzerbenachrichtigung oder Notifikation kann mit einem haptischen Signal (z.B. Vibration), akustischen Signal (z.B. Alarm) oder optischen Signal (z.B. blinkende
Anzeige) erzielt werden, welche von einem Impulsgeber abgegeben werden .
In entsprechender Weise kann die gegenständliche Vorrichtung vorzugsweise eine Benachrichtigungseinrichtung umfassen, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die Verarbeitungseinheit mit der
Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulösen, wenn ein spezifisches affektives Muster und/oder eine einem
spezifischen Affekt zugeordnete Person erkannt wird. Als
spezifisches affektives Muster wird hier sowohl eine affektive Reaktion des Benutzers der Vorrichtung verstanden, welche z.B. mittels eines Biofeedback-Sensors festgestellt werden kann, als auch eine affektive Reaktion des Gegenübers, d.h. an dem
zumindest einen erkannten Gesicht, welche beispielsweise im Rahmen der Gesichtserkennung anhand des Gesichtsausdrucks festgestellt werden kann. Eine einem spezifischen Affekt zugeordnete Person kann beispielsweise im Rahmen einer zusätzlichen Stimmerkennung in Verbindung mit einer Datenbank von vorab als Stressor gespeicherten Personen bzw. deren
Stimmcharakteristika festgestellt werden.
Die Benachrichtigung ermöglicht einem Benutzer mit geringer affektiver Perzeptionsstärke, sich die von einem Gegenüber transportierte affektive Information bewusst zu machen bzw.
bewusst wahrzunehmen und entsprechend zu reagieren. Bei
Anwendung der Vorrichtung oder des Verfahrens über einen
längeren Zeitraum wird die Aufmerksamkeit für affektive
Information durch die Benachrichtigungen trainiert und so die natürliche Empathie-Fähigkeit des Benutzers gesteigert.
Vorzugsweise kann die Überlagerung in Abhängigkeit von der oben erwähnten Stimmerkennung aktiviert werden, wobei die
Überlagerung nur dann aktiviert wird, wenn die Stimme einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt wird.
In einer weiteren bevorzugten Ausführungsform kann die
Überlagerung in Abhängigkeit von der Identifizierung eines erkannten Gesichts aktiviert werden, wobei die Überlagerung nur dann aktiviert wird, wenn das Gesicht einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt und identifiziert wird.
Vorzugsweise kann im Rahmen der Erfindung vom Benutzer aus mindestens drei Betriebsmodi ausgewählt werden:
1) eine permanent aktivierte Überlagerung, d.h. jedes erkannten Gesichts ;
2) eine personenspezifische Überlagerung, wobei die Überlagerung abhängig von einer Stimmerkennung und/oder Gesichtserkennung aktiviert wird;
3) Aktivierung der Überlagerung mittels Biofeedback-Sensor (bzw. Stresssensor), d.h. wobei die Überlagerung in Abhängigkeit vom Stress-Level des Benutzers aktiviert wird.
Neben den bisher beschriebenen Anwendungen betrifft die
Erfindung auch ein Verfahren zur Messung der Empfindlichkeit eines Subjekts für affektive visuelle Information, insbesondere zur alleinigen oder ergänzenden Diagnostik von Angsterkrankungen und Depressionen im Allgemeinen sowie speziell der Diagnostik von AD(H)S bzw. Erkrankungen aus dem autistischen Formenkreis. Dieses Verfahren umfasst das oben beschriebene Verfahren zur Veränderung der affektiven visuellen Information, wobei das Subjekt der Benutzer der erfindungsgemäßen Vorrichtung ist und wobei die Überlagerung zeitlich variiert wird (z.B. abwechselnd für einige Minuten deaktiviert, dann für einige Minuten
aktiviert) und gleichzeitig mit einem Stress-Sensor die
affektive Reaktion des Subjekts ermittelt wird. Aus der
zeitlichen Korrelation zwischen dem zeitlichen Verlauf eines mit dem Stress-Sensor gemessenen Stress-Levels und dem zeitlichen Verlauf der Überlagerung kann ein Maß für die Empfindlichkeit für affektive visuelle Information abgeleitet werden oder zumindest eine Unempfindlichkeit festgestellt werden.
Darüber hinaus betrifft die Erfindung die Verwendung eines
Verfahrens oder einer Vorrichtung der eingangs angeführten Art, mit den oben beschriebenen bevorzugten Ausführungsformen, zum Verhindern von sozialen Stresssituationen, zum Vorbeugen von Angsterkrankungen und Depressionen, oder zur Stressreduktion bei einem Teil depressiver und angstkranker Personen. Je nach der Varianz der Affektwahrnehmung kann bei depressiven Erkrankungen sowie bei Angsterkrankungen, in der jeweiligen Ursächlichkeit,
(a) eine affektabhängige und (b) eine kaum bis nicht
affektabhängige Form in der Entstehung dieser Erkrankungen gefunden werden. Dem Idealtypus entspricht bei (a) eine starke Perzeption der Affekte im Gesicht einer gesehenen Person, wie z.B. bei AD(H)S (ICD-10 Code F90.-) und bei (b) eine geringe bis fehlende Perzeption in diesem Bereich wie z.B. bei Autismus
(Icd-10 Code F84.-) . Konkordant zu den bisherigen Testungen in der Ordination des Erfinders ist der „Lazar-Effekt" , also eine Stressreduktion durch die Beeinflussung der Affektwahrnehmung
(im Sinne einer Reduktion des Informationsgehalt im
entsprechenden Visusbereich) , bei einem Teil depressiver und angstkranker Patienten (ICD-10 Code F3-.- und F4-.-), sowie bei allen AD(H)S Patienten, feststellbar. Für diese Personengruppen ist die Verwendung der vorliegenden Erfindung daher besonders vorteilhaft. Dies, während ein anderer Teil Depressiver und Angstkranker, keinerlei Stressreduktion erlebt, dies
ausschließlich bei Betroffenen mit geringer bis fehlender automatisierter Affektwahrnehmung gegenüber anderen Person. An zwei Patienten mit Erkrankungen aus dem autistischen
Formenkreis, beide leiden unter einem Asperger-Syndrom, konnte ebenfalls keinerlei Stressreduktion in der Verwendung der vorliegenden Erfindung festgestellt werden. Dies entspricht exakt der Hypothese bzgl. des zu erwartenden Lazar-Effektes und dessen Bedeutung für die, unter (a) beschriebenen,
Patientengruppe. Da die Perzeptionsfähigkeit von nicht
erkrankten Personen, ebenfalls in zwei, dem jeweiligen
Idealtypus entsprechenden Gruppen eingeteilt werden kann und es infolge zu Missverständnissen bzgl. der Semantik von emotionaler Perzeption bzw. Affektwahrnehmung kommen kann, weil die meisten Personen davon ausgehen, das Gegenüber habe die selbe
Affektwahrnehmung, werden diese beiden Begriffe im Folgenden noch genauer definiert: Die (a) entsprechende Gruppe meint hier mit affektabhängig, die automatisierte und von der gedanklichen Kontrolle und dem Bewusstsein unabhängige Wahrnehmung von
Affekten (insbesondere von Muskelkontraktionen im Gesicht) bei gesehenen Personen. Dieser Verarbeitungsprozess liegt bei der Gruppe (b) und bei Personen aus dem nicht erkrankten Bereich, die diesem Idealtypus entsprechen, nicht vor. Er wird von diesen daher, mangels der eigenen Gegebenheit, zumeist nicht
verstanden. Letzteres basiert auf einem Mechanismus der
Wahrnehmung anderer Personen bei psychiatrischen Laien, oft als allgemeine Menschenkenntnis bezeichnet. Diese geht von der falschen Annahme aus, dass andere Personen nach denselben
Prinzipien funktionieren und wahrnehmen. Die (b) entsprechende Gruppe nimmt Affekte ausschließlich über einen willentlichen also bewussten Akt wahr, der sofort sistiert, wenn der gesehenen Person die Aufmerksamkeit entzogen wird. Vergleichbar dem
Verstehen einer Nichtmuttersprache, die nur verstanden wird, wenn die Aufmerksamkeit auf diese gerichtet ist. Die
affektabhängige Perzeption meint hingegen die konstante
Wahrnehmung der Affekte des Gegenübers, dem automatischen Hören und Verstehen der Muttersprache entsprechend.
Die Erfindung wird nachfolgend anhand eines besonders
bevorzugten Ausführungsbeispiels, auf das sie jedoch nicht beschränkt sein soll, und unter Bezugnahme auf die Zeichnungen noch weiter erläutert. Dabei zeigen im Einzelnen:
Fig. 1 schematisch einen Teil einer erfindungsgemäßen
Vorrichtung in Form einer AR-Brille;
Fig. 2 schematisch ein Blockschaltbild der Funktionselemente einer erfindungsgemäßen Vorrichtung;
Fig. 3 schematisch eine Illustration der Berechnung eines Überlagerungsbereichs ;
Fig. 4 ein Anwendungsbeispiel des erfindungsgemäßen
Verfahrens ;
Fig. 5 schematisch einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit ;
Fig. 6A, 6B, 6C und 6D vier Anwendungsbeispiele für einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit bei jeweils unterschiedlichen Breiten des Übergangsbereichs;
Fig. 7 schematisch ein Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines
Gesichtsbereichs .
Fig. 1 zeigt eine vereinfachte Darstellung einer AR-Brille 1, wie beispielsweise den von Osterhout Design Group (ODG)
angebotenen „R7 Smart Glasses". Die Brillengläser der AR-Brille 1 sind zwei Anzeigen 2, die jeweils als transparentes Display
(Durchsicht-Display) ausgeführt sind. Die auf diesen Displays angezeigte graphische Oberfläche wird durch eine
Verarbeitungseinheit (nicht gezeigt) erzeugt, welche mit dem Betriebssystem (OS) Android mit der OS-Erweiterung „ReticleOS"
(ebenfalls von ODG) betrieben wird.
Eine in der AR-Brille 1 integrierte Kamera 3 umfasst einen
Bildsensor und liefert ein Bild der Umgebung. Das Sichtfeld der Kamera 3 deckt im Wesentlichen den Halbraum vor den
Brillengläsern ab und ist somit größer als das Sichtfeld der AR- Brille 1. Das Sichtfeld der AR-Brille 1 entspricht jenem Teil des Gesichtsfeld eines Benutzers, welcher durch die
Brillengläser wahrgenommen wird. Das von der Kamera 3 erfasst Bild der Umgebung wird über eine Verkabelung im Brillengestell 4 und eine Verbindungsleitung 5 zu einer Verarbeitungseinheit 6 (siehe Fig. 2) übertragen und dort laufend von einer
Gesichtserkennungssoftware analysiert, welche die Koordinaten des oder der Gesichter in der Umgebung ausgibt.
Ein auf der Verarbeitungseinheit 6 laufendes Anwendungsprogramm ermittelt zunächst aus dem zuvor kalibrierten Augenabstand die Entfernung des erkannten Gesichts. Dann berechnet sie laufend aus den Koordinaten und den im Rahmen der Kalibrierung
festgelegten Parameter zur Physiognomie des Brillenträgers
(Augenabstand, Distanz zwischen Brillengläser und Auge) für jedes Brillenglas die Koordinaten des Schnittpunktes der
Blickachse zum Gesicht des Gegenübers mit den Brillengläsern, also jener Stelle in jedem Brillenglas, die geeignet ist, das Auge-Auge-Mund-Dreieck (AAM-Dreieck) des Gegenübers zu
verdecken. Diese Daten werden wiederum an die API
(Programmierschnittstelle) des ReticleOS übergeben, welches ein zuvor festgelegtes Bild oder Muster an der entsprechenden Stelle im Brillenglas einblendet.
Der Aufbau des Anwendungsprogramms erlaubt das Einbinden von Software-Erweiterungen. Dazu zählen beispielsweise Erweiterungen zur laufenden Veränderung des zur Überblendung verwendeten
Musters oder Bildes. Das Anwendungsprogramm lässt sich somit z.B. dahingehend erweitern, dass als eingeblendetes Bild jenes Gesicht verwendet wird, das mit der Kamera aufgenommen, von der Gesichtserkennungssoftware erkannt und ausgegeben wurde und bei dem die Gesichtszüge gezielt manipuliert wurden.
Wie in Fig. 2 dargestellt, kann die Verarbeitungseinheit 6 optional mit Sensoren 7 und Eingabeelementen 8 verbunden sein. Die Sensoren 7 können einen Biofeedback-Sensor zur Messung von Stressparametern umfassen. Die gemessenen Parameter können dazu herangezogen werden, die Daten der Gesichtserkennungssoftware auszuwerten und einer Qualität zuzuordnen. Hierzu können z.B. Messungen des Hautwiderstandes, der Hauttemperatur, der
Herzfrequenz oder der Bewegung des Körpers als Stressparameter herangezogen werden.
Die Verarbeitungseinheit 6 bildet zusammen mit der AR-Brille 1 eine erfindungsgemäße Vorrichtung. Diese ist außerdem mit einer Energieverwaltungseinheit 9 und einer wiederaufladbaren Batterie 10 verbunden.
Die Überlagerung des Gesichtsfelds mittels der AR-Brille 1 kann prinzipiell für zwei Arten der Beeinflussung verwendet werden: Erstens eine Reduktion des affektiven Informationsgehaltes durch eine generische Veränderung der Bilddaten (Helligkeit, Kontrast, Zeichnung, etc.) oder zweitens eine Überlagerung des Gesichtes mit einem anderem Gesicht bzw. einem Gesicht derselben Person mit einem modifizieren affektiven Informationsgehalt,
insbesondere einen geringeren negativen emotionalen Inhalt als das Originalbild. Letzteres kann von der Kamera 3 davor
aufgenommen zu werden.
Der Grad der akzeptablen Einflussnahme auf die Kommunikation ist durch die kommunikative Plausibilität begrenzt und wird, in Anlehnung an die psychiatrische Einteilung des
psychopathologischen Status, als gegeben Adäquatheit definiert.
Bei Überschreiten dieses Wertes kommt es zu einem raschen
Anstieg der vom beobachteten Gegenüber transportierten
affektiven Information und infolge, durch deren Perzeption beim Benutzer/Brillenträger, zu einem starken Ausschlag der
Stresssensoren bei diesem. Letzteres führt außerdem zu einem Umschalten der emotionalen Wahrnehmung von unwillkürlich zu willkürlicher Perzeption sowie zu einer Senkung der Adäquatheit.
Es ist ein Ziel der vorliegenden Erfindung, die Kommunikation unwillkürlich und langsam in Richtung positiver Expression und Perzeption der Emotionen bei den Gesprächspartnern zu steuern ohne den Schwellenwert der Adäquatheit zu erreichen oder zu überschreiten .
In Fig. 3 sind die Verfahrensschritte zur Berechnung des
Überlagerungsbereichs anhand einer AR-Brille 1 gemäß Fig. 1 illustriert .
In der dargestellten beispielhaften Situation sind die Augen AL (linkes Auge) und AR (rechtes Auge) eines beobachtenden Subjekts (der Benutzer und Träger der AR-Brille 1) schematisch dargestellt. Die Augen AL, AR sind jeweils durch die
Pupillenöffnung und den runden Augapfel mit der Netzhaut auf dessen hinteren Innenseite dargestellt. Die Koordinaten der Punkte AL und AR entsprechen denen des Mittelpunktes des
jeweiligen Auges. Die Mittelpunkte der Pupillen sind mit PL und PR für die Pupille des linken bzw. rechten Auges eingezeichnet. Die Stecke aPD entspricht der gemessenen Pupillendistanz und steht für die Distanz zwischen den Mittelpunkten der beiden Augen AL, AR.
Das Subjekt trägt eine AR-Brille mit zwei Anzeigen 2 als
Brillengläsern, die als transparente Displays realisiert sind. DL bezeichnet das aus Sicht des Subjekts linke Brillenglas bzw. Display und DR das rechte. Die Punkte DL und DR sind als
Mittelpunkt der jeweiligen Anzeige 2 definiert. Auf der Brille sind zwei Kameras 11, 12 montiert, welche jeweils als Kamera Obscura dargestellt sind, bestehend aus einer Blende 13 und einem CCD-Bildsensor 14. Der Punkt C (für Camera) ist im
Mittelpunkt der Blende definiert.
Die Koordinaten x und y beziehen sich auf das Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 bzw. im linken oder rechten Display DL, DR liegt. Dabei sind x die horizontale und y die vertikale Koordinate. Die Indizes geben an, um welches Koordinatensystem es sich handelt. So beziehen sich die
Koordinaten XDL/ yDL auf das Koordinaten-System mit dem
Ursprungspunkt DL im Raum und die Koordinaten xDR, yDR auf jenes mit dem Ursprungspunkt DR, also den Mittelpunkt der linken bzw. rechten Anzeige 2. Die Koordinaten xc und yc beziehen sich auf jenes Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 liegt. Die Anzeigen 2 sowie der Bildsensor 14 der Kamera 11 sind parallel zur x-y-Ebene im Raum. Die normal dazu stehende z-Koordinate entspricht der Richtung der Kamera. Die Bildebene der Fig. 3 entspricht der x-z-Ebene im Raum.
Das Gegenüber, dessen Gesichtszüge gelesen werden, wird als Objekt (0) bezeichnet. Die Augen des dem Beobachter/Subjekt (S) zugewandten Gesichts des Objekts, werden aus Sicht des Subjekts mit OL für das linke Auge und OR für das rechte Auge bezeichnet. Der Mund wird als OM bezeichnet, dessen Gesichtsmittelpunkt als OC . Abstände in x-Richtung werden mit a bezeichnet, jene in Y- Richtung mit d und jene in Z-Richtung mit b. Diese Wahl
orientierte sich an den üblichen Seitenbenennungen der im folgenden berechneten Dreiecke. Die Indizes dieser Längen bezeichnen die Endpunkte der dazugehörigen Strecken.
Die Zeichnung gemäß Fig. 3 stellt die Projektion der Stecken im Raum auf die x-z-Ebene dar. Es sei f der Abstand der Blende 13 zum Bildsensor 14, der durch die Kenntnis der verwendeten Kamera bekannt ist. Nun sei bc die noch unbekannte Entfernung der Kamera 11 zum Objekt (0) . Die Abbildung am Bildsensor 14 ergibt die Entfernung der Abbildung des linken Auges OL des Objektes am Bildsensor 14 zur Zentral-Achse XC,OL sowie die Entfernung der Abbildung des rechten Auges OR des Objektes am Bildsensor 14 zur Zentral-Achse XC,OR- Die Strahlendreiecke rechts von (vor) der Blende 13 zum Objekt sowie links von (hinter) der Blende 13 zum Bildsensor 14 sind ähnlich. Es gilt daher:
QC,OL
- -tan aC 0L
bc f 1 Q0L/ (1) sowie
^C,OR C,OL
(2)
Nun wird der Augenabstand des Objekts 10,PD (oder kurz 1) mit einem Durchschnitts-Wert von 65 mm angenommen und
AC,OL -— QC,OC_A
Figure imgf000020_0001
Daraus ergibt sich ein Gleichungssystem aus zwei Gleichungen und zwei Unbekannten:
i
ac,oc T V
^ _ AC,OL
bc ~ f (3) sowie ac,oc+2 χ
COR
(4)
Aus diesen kann die Entfernung der Kamera zum Objekt bc sowie die Entfernung ac,oc des Gesichtsmittelpunktes OC des Objekts von der Zentralachse der Kamera 11 berechnet werden.
Das Zentrum der Abdunkelung des Displays ergibt sich nun aus:
1 — Π X
C.OC UC,AR E =tan fa.
+öAc ÖAD (5) und analog für das linke Display:
QC,OC~ QCAR ^PD ^DL ^rc
bc+bAC ~bAD ~ m AL'0Cl (6)
Hierbei wurde noch angenommen, dass der Koordinatenursprung des Displays auf derselben Achse liegt, wie der Mittelpunkt des Auges. Ist dies nicht der Fall, sind die Koordinaten
entsprechend zu verschieben. In der Praxis wird es umgekehrt sein: In der Kalibrierungsphase ist der Verdunkelungspunkt manuell verschiebbar. Der Augenmittelpunkt wird dann aus DB errechnet bzw. die Koordinatentransformation iterativ aus allen manuellen Eingriffen angenähert.
Für die Transformation der y-Koordinate des Bildsensors 14 auf die y-Koordinate des Displays sei dc,0A die Projektion der Strecke vom Kamera-Blende zu den Augen OR, OL des Gegenübers/Objekts auf die y-z-Ebene und dc,0M die Projektion der Stecke von der Blende 13 zum Mund (OM) des Gegenübers/Objekts auf diese Ebene und yc,0A = y ,oR = yc,oL und yc,oM die y-Koordinaten der Abbildung dieser Punkte am Bildsensor 14 der Kamera 11:
Figure imgf000021_0001
sowie
u C,OM ,OM
: tan l «COM (8)
Da bc bereits aus den Gleichungen (3) und (4) bekannt ist, kann aus diesem Gleichungssystem dC,0M und dC,0A berechnet werden. Analog zur Gleichung (5) lässt sich nun die y-Koordinate auf beiden Displays aus den (bei der Kalibrierung ermittelten) Abständen zwischen Kamera und Auge dc,A auf der Y-Z-Ebene berechnen:
= tan α
br+ bA,C b Α,ΟΑ
F A,D (9) sowie
Figure imgf000022_0001
Liegt der Ursprung der Koordinaten des Displays nicht wie hier angenommen auf der Höhe des Augen-Mittelpunktes, müssen die Koordinaten wieder entsprechend verschoben werden.
Bei der Transformation der y-Koordinaten wurden bereits die Eckpunkte yD,A, ΥΌ,Μ des Überlagerungsbereichs und somit auch dessen Abmessungen bestimmt. Analog dazu kann dies bei der
Transformation der x-Koordinaten geschehen, was jedoch aus
Gründen der Übersichtlichkeit, weggelassen wurde. Hierbei kann genauso wie bei der Berechnung des Zentralpunktes des
Überlagerungsbereichs vom Augen-Mittelpunkt ausgegangen werden, da das Dreieck (in der x-z-Ebene) vom Augen-Mittelpunkt zu OL und OR das Dreieck von der Pupille zu OL komplett überlagert.
Bei der Berechnung der Ausdehnung des Überlagerungsbereichs kann darüber hinaus noch jener Fehler berücksichtigt werden, der sich aus den unterschiedlichen Größen des Augenabstands 10,PD des
Gegenübers/Objekts ergibt, d.h. der Fehler des angenommenen Durchschnittswerts von 65 mm. Eine Fehlerrechnung ergibt dann die notwendige Vergrößerung der Ausdehnung des
Überlagerungsbereichs .
Bei einer Verwendung der zweiten Kamera 12 liefern zwei Winkel den erfassten Bezugspunkt beim Objekt. Da die Entfernung aCc zwischen den beiden Kameras bekannt ist, lässt sich das Dreieck zwischen der ersten Kamera 11, der zweiten Kamera 12 und dem Objekt bzw. dessen Augen OR, OL mithilfe des WSW-Satzes
konstruieren, bzw. mithilfe des Sinus-Satzes berechnen. Der Abstand bc der Kameras 11, 12 zum Objekt entspricht dann der Höhe des Dreiecks. Man ist somit nicht mehr auf die Schätzung des Augenabstands des Objekts angewiesen und kann auf die oben erwähnte Fehlerrechnung und die daraus resultierende
Vergrößerung des Überlagerungsbereichs verzichten.
Beispielsweise lässt sich mithilfe der Gleichung:
/
cc "coc
CLOR
f (11) das System aus den Gleichungen (3) und (4) auch ohne die
Kenntnis des Augenabstandes 10,PD lösen.
In Fig. 4 ist ein Anwendungsbeispiel des erfindungsgemäßen Verfahrens anhand einer beispielhaften AR-Brille 15 schematisch dargestellt. Eine Blickfeldkamera 16 an der Vorderseite der AR- Brille 15 erfasst ein Bild des Sichtfelds 17 der AR-Brille 15 mit einem integrierten Bildsensor. Eine integrierte
Verarbeitungseinheit führt eine Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts 18 durch. Dabei wird die Position von Augen und Mund des erkannten
Gesichts 18 ermittelt und anschließend werden
Überlagerungsbereiche 19, 20 in den Anzeigen 21, 22 der AR- Brille 15 in Abhängigkeit von den ermittelten Positionen von Augen und Mund berechnet (vgl. Fig. 3 und diesbezügliche
Beschreibung oben) . Schließlich wird das Gesichtsfelds eines Benutzers der Vorrichtung in den berechneten
Überlagerungsbereichen 19, 20 der Anzeigen 21, 22 mit
alternativen Bilddaten überlagert. Die alternativen Bilddaten sind jeweils teilweise transparente schwarze Flächen, welche somit eine lokale Abdunkelung des Gesichtsfelds in den
Überlagerungsbereichen 19, 20 erzielen und dadurch die
wahrnehmbare affektive Information des Gesichts 18 reduzieren. Alternativ können die alternativen Bilddaten durch jeweils teilweise transparente hautfarbene Flächen gebildet sein, was weniger irritierende wirkt als schwarze Flächen. Außerhalb der Überlagerungsbereiche 19, 20 sind die Anzeigen 21, 22
gleichmäßig, vorzugsweise vollständig, transparent vergleichbar eine gewöhnlichen optischen Brille oder Sonnenbrille. Das
Gesicht 18 ist auf den Anzeigen 21, 22 nur zum besseren Verständnis der Anordnung der Überlagerungsbereiche 19, 20 eingezeichnet und soll stellt die Perspektive des Benutzers der AR-Brille 15, d.h. welcher durch die Anzeigen 21, 22 hindurch blickt, dar.
In Fig. 5 ist schematisch eine Ansicht durch eine der Anzeigen 21, 22 mit einem elliptischen Überlagerungsbereich 23 zur
Überlagerung eines Gesichts 24 dargestellt. Der
Überlagerungsbereich 23 umfasst einen Übergangsbereich 25 mit linear nach außen ansteigender Durchsichtigkeit. Außerhalb des Übergangsbereichs 25 ist die Durchsichtigkeit des
Überlagerungsbereich 23 im Wesentlichen konstant. Die Breite des Übergangsbereichs 25 entspricht etwa 10 % der Breite des
Überlagerungsbereichs 23 an der breitesten Stelle, parallel zu einer Verbindungslinie zwischen den erkannten Augen 26 des
Gesichts 24 gemessen. Durch den Übergangsbereich 25 wird ein fließender Übergang zwischen dem Überlagerungsbereich 23 und dessen Umgebung erzielt, welcher für einen Benutzer weniger irritierend wirkt als eine harte Kante an der Grenze des
Überlagerungsbereichs 23.
Fig. 6A, 6B, 6C und 6D zeigen vier Anwendungsbeispiele für den im Zusammenhang mit Fig. 5 beschriebenen Übergangsbereich. Dabei ist jeweils ein Gesicht mit einem elliptischen, hautfarbenen Überlagerungsbereich 23 dargestellt. Der Überlagerungsbereich 23 deckt im Wesentlichen den gesamten Gesichtsbereich zwischen den Ohren und vom Kinn bis zum Haaransatz ab. In Fig. 6A ist der Überlagerungsbereich 23 ohne Übergangsbereich 25 dargestellt; das entspricht einer Breite des Übergangsbereichs 25 von Null. In Fig. 6B, 6C und 6D ist der Überlagerungsbereich 23 mit einem Übergangsbereich 25 gemäß Fig. 5 dargestellt. Die Breite des Übergangsbereichs 25 ist in Fig. 6B 10 % der Breite des
Überlagerungsbereichs 23, in Fig. 6C 20 % der Breite des
Überlagerungsbereichs 23 und in Fig. 6D 30 % der Breite des Überlagerungsbereichs 23. In Fig. 6C und 6D sind die Brauen des Gesichts erkennbar. In Fig. 6D sind auch die äußeren
Augenwinkel, der obere Stirnbereich und die Mundwinkel des
Gesichts erkennbar. Die Breite des Übergangsbereichs kann dementsprechend zur Einstellung der erkennbaren visuellen affektiven Information verwendet werden. Fig. 7 zeigt ein vereinfachtes Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines Gesichtsbereichs gemäß eines Ausführungsbeispiels des
vorliegenden Verfahrens. Dabei wird zunächst in einer Schleife 27 gewartet, bis eine Gesichtserkennung 28 ein Gesicht in den vom Bildsensor 14 erfassten Bilddaten erkennt. Sobald ein
Gesicht erkannt wurde, wird mittels eines Stress-Sensors (z.B. eines Biofeedback-Sensors) ein Stress-Level ermittelt
(Ermittlung 29). Falls das Stress-Level durchschnittlich oder niedrig ist (Pfad 30), werden die Bilddaten in einem
Gesichtsbereich des erkannten Gesichts als Referenzaufnahme gespeichert (Speicherung 31). Zusammen mit der Referenzaufnahme werden die Positionen der Eckpunkte des Auge-Auge-Mund Dreiecks in der Referenzaufnahme ermittelt und gespeichert (Ermittlung und Speicherung 32), um eine spätere Skalierung und Ausrichtung der Referenzaufnahme zu beschleunigen. Falls das Stress-Level hoch ist (Pfad 33) , wird eine aktuelle Referenzaufnahme geladen
(Laden 34), welche dem erkannten Gesicht entspricht. Die
Zuordnung der passenden Referenzaufnahme erfolgt über
biometrische Merkmale der erfassten Gesichter in an sich
bekannter Weise. Nach dem Laden 34 wird die Referenzaufnahme durch Skalierung, Rotation und Verschiebung an die Größe,
Ausrichtung und Position des erkannten Gesichts angepasst und anschließend als alternative Bilddaten in der Anzeige 21, 22 eingeblendet (Anpassen und Einblenden 35) . In weiterer Folge wird überprüft, ob weitere Gesichter erkannt wurden (Überprüfung 36) . Falls nein, wird das Stress-Level neu ermittelt und die Verwendung der Überlagerung neu bewertet und gegebenenfalls die Anpassung aktualisiert (Schleife 37) . Falls ja, wird das
Verfahren ausgehend von der Gesichtserkennung 28 für das nächste Gesicht wiederholt (Schleife 38).

Claims

Ansprüche :
1. Verfahren zur Veränderung der affektiven visuellen
Information im Gesichtsfeld eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor (14) und zumindest einer Anzeige (2), umfassend die Schritte:
Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor (14),
Durchführen einer Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts,
Ermitteln der Positionen von Augen und Mund des erkannten Gesichts ,
Berechnen eines Überlagerungsbereichs in der Anzeige (2) der Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund,
Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Überlagern des Gesichtsfelds ein Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige (2) umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Überlagerungsbereich im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entspricht .
4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Überlagerungsbereich im Wesentlichen das gesamte
Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfasst.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch
gekennzeichnet, dass die alternativen Bilddaten einer
veränderten Abbildung des Sichtfelds der Vorrichtung im
Überlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine Veränderung der Helligkeit, eine Verringerung einer Bildauflösung, eine Veränderung der Zeichnung und/oder des Kontrastes, eine farbliche Markierung und/oder eine Manipulation der Gesichtszüge umfasst.
6. Verfahren nach einem der Ansprüche 1 bis 5, gekennzeichnet durch ein Erfassen des Signals zumindest eines Biofeedback- Sensors, wobei die Überlagerung in Abhängigkeit von dem Signal des Biofeedback-Sensors aktiviert wird.
7. Verfahren nach Anspruch 5 und 6, dadurch gekennzeichnet, dass ein Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Biofeedback-Sensors ermittelt wird.
8. Verfahren nach einem der Ansprüche 1 bis 6, gekennzeichnet durch, vor dem Berechnen des Überlagerungsbereichs, Kalibrieren der Anzeige (2) der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige (2) ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines Überlagerungsbereichs in der Anzeige (2) berücksichtigt werden.
9. Verfahren nach einem der Ansprüche 1 bis 6, gekennzeichnet durch Auslösen einer Benutzerbenachrichtigung, wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte
Schwelle überschreitet und/oder wenn die Gesichtserkennung eine affektive Auslenkung oder Resonanz oberhalb einer vordefinierten Schwelle an einem erkannten Gesicht detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde.
10. Vorrichtung zur Veränderung der affektiven visuellen
Information im Gesichtsfeld eines Benutzers, wobei die
Vorrichtung zumindest einen Bildsensor (14) und zumindest eine Anzeige (2) sowie eine Verarbeitungseinheit (6) aufweist, die mit dem Bildsensor (14) und der Anzeige (2) verbunden ist, wobei der Bildsensor (14) zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige (2) zum Überlagern des Gesichtsfelds eines Benutzers in einem
Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten eingerichtet ist, dadurch gekennzeichnet, dass die
Verarbeitungseinheit (6) eingerichtet ist, eine
Gesichtserkennung mit einem vom Bildsensor (14) erfassten Bild durchzuführen, Positionen von Augen und Mund eines bei der
Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige (2) für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen.
11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Anzeige (2) ein Bildschirm oder ein Display, insbesondere ein transparentes Display, ist.
12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass sie eine Augmented Reality Brille (1) ist.
13. Vorrichtung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) eine
Gesichtserkennungssoftware aufweist .
14. Vorrichtung nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass sie einen Biofeedback-Sensor umfasst, wobei die Verarbeitungseinheit (6) mit dem Biofeedback-Sensor
verbunden und eingerichtet ist, die Überlagerung in Abhängigkeit von einem Signal des Biofeedback-Sensors zu aktivieren.
15. Vorrichtung nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass sie eine Benachrichtigungseinrichtung umfasst, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die
Verarbeitungseinheit (6) mit der Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulösen, wenn ein spezifisches affektives Muster und/oder eine einem spezifischen Affekt zugeordnete
Person erkannt wird.
PCT/EP2017/065265 2016-06-21 2017-06-21 Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers Ceased WO2017220667A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/311,401 US11281893B2 (en) 2016-06-21 2017-06-21 Method and device for modifying the affective visual information in the field of vision of an user

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
ATA304/2016 2016-06-21
AT3042016 2016-06-21
ATA12/2017 2017-01-16
AT122017 2017-01-16
EP17151715.4A EP3349178A1 (de) 2017-01-17 2017-01-17 Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
EP17151715.4 2017-01-17

Publications (1)

Publication Number Publication Date
WO2017220667A1 true WO2017220667A1 (de) 2017-12-28

Family

ID=59070685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/065265 Ceased WO2017220667A1 (de) 2016-06-21 2017-06-21 Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers

Country Status (2)

Country Link
US (1) US11281893B2 (de)
WO (1) WO2017220667A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3195141A1 (en) * 2020-10-07 2022-04-14 Toshiya Nakaguchi Sightline-position determination device, sightline-position determination method, and training method
CN112565252A (zh) * 2020-12-04 2021-03-26 上海影创信息科技有限公司 基于非接触热特征的vr设备安全防护方法和系统及其vr眼镜
US11526324B2 (en) * 2022-03-24 2022-12-13 Ryland Stefan Zilka Smart mirror system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2124186A1 (de) * 2007-02-15 2009-11-25 Sony Corporation Bildverarbeitungseinrichtung und bildverarbeitungsverfahren
WO2010022351A2 (en) * 2008-08-22 2010-02-25 University Of Virginia Patent Foundation System and method for low bandwidth image transmission
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9060095B2 (en) 2012-03-14 2015-06-16 Google Inc. Modifying an appearance of a participant during a video conference

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
JP2010171797A (ja) * 2009-01-23 2010-08-05 Nikon Corp 撮像装置及びプログラム
JP5926210B2 (ja) 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
US10067516B2 (en) * 2013-01-22 2018-09-04 Opower, Inc. Method and system to control thermostat using biofeedback
NZ630770A (en) * 2013-10-09 2016-03-31 Resmed Sensor Technologies Ltd Fatigue monitoring and management system
DE102013017820A1 (de) 2013-10-23 2015-04-23 Humboldt-Universität Zu Berlin Verfahren und System zur Visualisierung der emotionalen Wirkung einer visuellen Stimulation
WO2015068168A1 (en) 2013-11-09 2015-05-14 Visior Technologies Ltd. System and method for treating eye and brain disorders
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN106415594B (zh) * 2014-06-16 2020-01-10 北京市商汤科技开发有限公司 用于面部验证的方法和系统
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2124186A1 (de) * 2007-02-15 2009-11-25 Sony Corporation Bildverarbeitungseinrichtung und bildverarbeitungsverfahren
WO2010022351A2 (en) * 2008-08-22 2010-02-25 University Of Virginia Patent Foundation System and method for low bandwidth image transmission
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9060095B2 (en) 2012-03-14 2015-06-16 Google Inc. Modifying an appearance of a participant during a video conference

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MADHURA DATTA ET AL: "Two dimensional synthetic face generation and verification using set estimation technique", COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIC PRESS, US, vol. 116, no. 9, 16 May 2012 (2012-05-16), pages 1022 - 1031, XP028400035, ISSN: 1077-3142, [retrieved on 20120606], DOI: 10.1016/J.CVIU.2012.05.004 *
MORISHIMA SHIGEO ET AL: "Instant Movie Casting with Personality: Dive into the Movie System", NETWORK AND PARALLEL COMPUTING; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, vol. 6774 Chap.21, no. 558, 9 July 2011 (2011-07-09), pages 187 - 196, XP047370104, ISSN: 0302-9743, ISBN: 978-3-642-16019-6 *
STEFANO MELACCI ET AL: "A template-based approach to automatic face enhancement", PATTERN ANALYSIS AND APPLICATIONS, SPRINGER-VERLAG, LO, vol. 13, no. 3, 8 April 2009 (2009-04-08), pages 289 - 300, XP019806522, ISSN: 1433-755X *
VLADO KITANOVSKI ET AL: "Augmented reality mirror for virtual facial alterations", IMAGE PROCESSING (ICIP), 2011 18TH IEEE INTERNATIONAL CONFERENCE ON, IEEE, 11 September 2011 (2011-09-11), pages 1093 - 1096, XP032079768, ISBN: 978-1-4577-1304-0, DOI: 10.1109/ICIP.2011.6115616 *

Also Published As

Publication number Publication date
US20200074150A1 (en) 2020-03-05
US11281893B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
AT513987B1 (de) Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
RU2473301C2 (ru) Способ измерения восприятия
EP1228414B1 (de) Rechnerunterstütztes verfahren zur berührungslosen, videobasierten blickrichtungsbestimmung eines anwenderauges für die augengeführte mensch-computer-interaktion und vorrichtung zur durchführung des verfahrens
DE102014209556A1 (de) Anzeigevorrichtung
DE102015212806A1 (de) System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
EP3256036B1 (de) Vorrichtung und verfahren zur abstandsbestimmung und/oder zentrierung unter verwendung von hornhautreflexionen
EP3730998A1 (de) Bestimmung mindestens eines optischen parameters eines brillenglases
EP3955800B1 (de) Bestimmung eines refraktionsfehlers eines auges
DE102017108551B4 (de) Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
DE112017007303B4 (de) Gesichtserkennungsvorrichtung
DE102019125751A1 (de) Augapfelinformationenschätzvorrichtung, Augapfelinformationenschätzverfahren und Augapfelinformationenschätzprogramm
DE102011119361A1 (de) Verfahren und Vorrichtung zur Verbesserug der Sehleistung
DE102015220398A1 (de) Verfahren zur Übermittlung von Informationen an einen Fahrer eines Kraftfahrzeuges und adaptives Fahrerassistenzsystem
WO2016119772A1 (de) Vorrichtung und verfahren zur messung der gleichgewichtswahrnehmung bei personen
EP3352644A1 (de) Verfahren und system zur bestimmung der subjektiven refraktionseigenschaften eines auges
WO2017220667A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
EP3542703B1 (de) Vorrichtung und verfahren zum erfassen eines gesichtsfelds einer ein skotom aufweisenden person
JPH0713497A (ja) 画像表示装置
DE112017004669T5 (de) Luminanzsteuervorrichtung, Luminanzsteuersystem und Luminanzsteuerverfahren
DE112020001197T5 (de) Fahrzeugleitsystem
DE19502337C2 (de) Vorrichtung und Verfahren zur Prüfung von Sehfunktionen
WO2002041769A1 (de) Optische stimulation des menschlichen auges
EP3349178A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
CH720203A2 (de) Verfahren und Vorrichtung für die Modifikation der affektiven visuellen Information im Blickfeld eines Benutzers
DE102007001738B4 (de) Verfahren und Computerprogrammprodukt zur Blickerfassung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17730820

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17730820

Country of ref document: EP

Kind code of ref document: A1