WO2024235768A1

WO2024235768A1 - Method and device for comfort-optimised adaptation of brightness and/or volume when using vr glasses in a vehicle

Info

Publication number: WO2024235768A1
Application number: PCT/EP2024/062645
Authority: WO
Inventors: Viktor Bader
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2023-05-16
Filing date: 2024-05-07
Publication date: 2024-11-21
Anticipated expiration: 2025-11-16
Also published as: CN121153002A

Abstract

The present invention relates to a method for comfort-optimised adaptation of brightness and/or volume when using VR glasses in a vehicle, comprising the steps of: - detecting a brightness value and/or volume value in a vehicle cabin using at least one sensor, - calculating an expected brightness value and/or volume value in the region of the eyes and/or ears of a user of the VR glasses once the VR glasses have been taken off, taking into account the detected brightness value and/or volume value, - determining a brightness value and/or volume value to which at least one of the eyes and/or ears of the user of the VR glasses is/are exposed during use of the VR glasses, - comparing the determined brightness value and/or volume value with the calculated expected brightness value and/or volume value, and - adapting at least one brightness and/or volume in such a way that a deviation between a brightness value and/or volume value to which at least one of the eyes and/or ears of the user of the VR glasses is/are exposed and an expected brightness value and/or volume value in the region of the eyes and/or ears of a user of the VR glasses once the VR glasses have been taken off is taken into account, the mutual deviation in particular being less than 20%. The invention also relates to a device for comfort-optimised adaptation of brightness and/or volume when using VR glasses in a vehicle and to a vehicle comprising a device of this type or which can carry out a method of this type.

Description

Beschreibung Description

Verfahren und Vorrichtung zur komfortoptimierten Anpassungen einer Helligkeit und/oder Lautstärke bei einer Nutzung einer VR-Brille in einem Fahrzeug Method and device for comfort-optimized adjustment of brightness and/or volume when using VR glasses in a vehicle

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur komfortoptimierten Anpassungen einer Helligkeit und/oder Lautstärke bei einer Nutzung einer VR-Brille in einem Fahrzeug. The present invention relates to a method and a device for comfort-optimized adjustments of brightness and/or volume when using VR glasses in a vehicle.

Es bestehen seit langem Bestrebungen, den Fahrgästen eine Fahrt in einem Kraftfahrzeug so angenehm wie möglich zu gestalten. Daher wurden in der Vergangenheit insbesondere auf den Sitzkomfort, die Federung und andere strukturelle Anpassungen der Fahrzeugkabine abgestellt. There have long been efforts to make a journey in a motor vehicle as comfortable as possible for passengers. In the past, particular attention has therefore been paid to seat comfort, suspension and other structural adjustments to the vehicle cabin.

Zunehmend Bedeutung gewinnen jedoch Angebote, die den Fahrgästen ermöglichen, die Fahrzeit für andere, insbesondere interaktive Aktivitäten nutzen zu können. Dies kann beispielsweise durch das Bereitstellen von Videos oder (Computer-) Spielen oder die Bereitstellung eines Arbeitsplatzes erfolgen. Unabhängig von der Art der Nutzung ist dabei bevorzugt, den Fahrgästen dieses Angebot möglichst unabhängig von der Fahrt und den dabei auftretenden veränderlichen Umgebungsbedingungen bieten zu können. Dabei sind zunehmen Einrichtungen von Bedeutung, mittels denen ein Fahrgast in eine Virtuelle Realität eintauchen kann. Dabei steht insbesondere die Nutzung von VR-Brillen (Virtual-Reality-Brillen) und AR- Brillen (Augmented-Reality-Brillen) im Vordergrund. Erste derartige Systeme zur Nutzung von VR-Brillen in einer Fahrzeugkabine sind mittlerweile kommerziell und in Serienfahrzeugen erhältlich. Zur Nutzung eines solchen Systems in einem Fahrzeug wird üblicherweise ein mit dem Fahrzeug kompatibles Virtual-Reality-Headset mit einem Datensystem des Fahrzeugs gekoppelt, dies kann kabelgebunden oder kabellos, beispielsweise per Bluetooth erfolgen. However, offers that allow passengers to use the travel time for other, particularly interactive activities are becoming increasingly important. This can be done, for example, by providing videos or (computer) games or by providing a workstation. Regardless of the type of use, it is preferable to be able to offer passengers this offer as independently as possible from the journey and the changing environmental conditions that arise. Facilities that allow a passenger to immerse themselves in virtual reality are becoming increasingly important. The focus here is particularly on the use of VR glasses (virtual reality glasses) and AR glasses (augmented reality glasses). The first such systems for using VR glasses in a vehicle cabin are now commercially available and in series vehicles. To use such a system in a vehicle, a virtual reality headset compatible with the vehicle is usually coupled to a data system in the vehicle; this can be done wired or wirelessly, for example via Bluetooth.

Virtual-Reality-Brillen und Augmented-Reality-Brillen können auf Lautsprecher umfassen und sogenannte Virtual-Reality-Headsets beziehungsweise Augmented-Reality-Headsets bilden. Im Rahmen dieser Erfindung sollen die Begriffe Virtual-Reality-Brille, Augmented-Reality-Brille, Virtual-Reality-Headset und Augmented-Reality-Headset jedoch - sofern nicht explizit anders definiert - als synonyme verstanden werden. Sie können Lautsprecher enthalten oder nicht. Die Anzeige einer virtuellen (virtual reality) oder erweiterten (augmented reality) Realität kann möglich sein. Bisher werden VR- oder AR-Brillen von Endverbrauchern in erster Linie für Computerspiele (Gaming) genutzt. Dabei taucht der Nutzer meist in speziell konzipierten Spielen in eine Fantasiewelt ein. Die Nutzung ist jedoch nicht ausschließlich auf den Entertainment-Bereich beschränkt. Die Nutzung von Virtual-Reality-Brillen gewinnt in allen Industriesektoren zunehmend an Bedeutung. Ebenso finden Virtual-Reality-Brillen auch in Bildung und Medizin zunehmende Einsatzfelder. Virtual reality glasses and augmented reality glasses can include loudspeakers and form so-called virtual reality headsets or augmented reality headsets. In the context of this invention, however, the terms virtual reality glasses, augmented reality glasses, virtual reality headset and augmented reality headset should be understood as synonyms - unless explicitly defined otherwise. They may or may not contain loudspeakers. The display of a virtual (virtual reality) or augmented reality may be possible. To date, VR or AR glasses have been used by end users primarily for computer games (gaming). The user is usually immersed in a fantasy world in specially designed games. However, their use is not limited exclusively to the entertainment sector. The use of virtual reality glasses is becoming increasingly important in all industrial sectors. Virtual reality glasses are also increasingly being used in education and medicine.

Es ist bekannt, dass die Nutzung von VR-Brillen zu Problemen führen kann. Diese beruhen meist in einer Diskrepanz zwischen physikalischen Bedingungen der realen Welt, in der sich der Nutzer befindet und der virtuellen Welt. Diese treten insbesondere beim Übergang des Nutzers zwischen diesen beiden Welten zurtage. Es bestehen bereits Lösungen, die einige der bekannten Probleme beheben können. It is known that the use of VR glasses can lead to problems. These are usually based on a discrepancy between the physical conditions of the real world in which the user finds himself and the virtual world. These become particularly apparent when the user transitions between these two worlds. Solutions already exist that can resolve some of the known problems.

Beispielsweise ist aus US 10254 826 B2 eine VR-Brille bekannt, die kann ein elektronisches Benutzergerät umfasst, das mit einer Verfolgungsvorrichtung kommuniziert, die die physische Bewegung eines Benutzers in einem Raum der realen Welt verfolgt und die verfolgte physische Bewegung in eine entsprechende Bewegung in der virtuellen Welt übersetzt. Dadurch kann das System erkennen, wenn sich ein Benutzer und das Benutzergerät einer Grenze eines Verfolgungsbereichs nähern, und automatisch einen Übergang aus der virtuellen Welt in die reale Welt einleiten. Durch einen solchen fließenden oder sanften Übergang zwischen der virtuellen Welt und der realen Welt kann eine Desorientierung vermieden werden, wenn der Benutzer auf eine solche Grenze stößt, insbesondere dann, wenn ein Benutzer sich weiterhin in der realen Welt bewegt, während die Bewegung (in der virtuellen Umgebung) bei Erreichen der Tracking-Grenze scheinbar gestoppt wurde. For example, from US 10254 826 B2 a VR headset is known which may comprise an electronic user device that communicates with a tracking device that tracks the physical movement of a user in a real-world space and translates the tracked physical movement into a corresponding movement in the virtual world. This allows the system to detect when a user and the user device approach a boundary of a tracking area and automatically initiate a transition from the virtual world to the real world. Such a smooth or fluid transition between the virtual world and the real world can avoid disorientation when the user encounters such a boundary, especially when a user continues to move in the real world while the movement (in the virtual environment) appears to have stopped upon reaching the tracking boundary.

Aus US 9 129295 B2 ist ein komplexes, interaktives System bekannt, welches einem Nutzer Informationen vor die Augen projizieren kann. Der als „head-mounted eye piece“ bezeichnete Projektor kann auch mit Kopfhörer ausgestattet sein und wird daher im Folgenden auch als VR- Brille bezeichnet. Eine solche VR-Brille umfasst einen integrierten Prozessor zur Verarbeitung von anzuzeigenden Inhalten. Weiterhin ist vorgesehen, dass durch eine solche VR-Brille ein Benutzer sowohl eine Umgebung als auch die anzuzeigenden Inhalte betrachten kann. Dazu ist vorgesehen, dass eine optische Baugruppe eine photochrome Schicht und eine Heizschicht umfasst, die auf einer durchsichtigen Linse der optischen Baugruppe angeordnet ist. Die photochrome Schicht kann durch die Heizschicht erwärmt werden, um deren Übergang von dunkel zu klar zu beschleunigen. Dadurch kann besonders schnell zwischen eine Betrachtung der Umgebung und der Betrachtung der virtuellen Inhalte gewechselt werden. US 9 129295 B2 discloses a complex, interactive system that can project information in front of a user's eyes. The projector, referred to as a "head-mounted eye piece", can also be equipped with headphones and is therefore also referred to below as VR glasses. Such VR glasses include an integrated processor for processing the content to be displayed. It is also provided that a user can view both an environment and the content to be displayed through such VR glasses. For this purpose, it is provided that an optical assembly includes a photochromic layer and a heating layer that is arranged on a transparent lens of the optical assembly. The photochromic layer can be heated by the heating layer in order to facilitate its transition from dark to clear. This allows you to switch particularly quickly between viewing the surroundings and viewing the virtual content.

Es ist allgemein bekannt, dass durch eine helle Lichtquelle im Gesichtsfeld eines Menschen unangenehme Blendungen entstehen. Diese werden auch als "visueller Lärm" bezeichnet. It is well known that a bright light source in a person's field of vision creates unpleasant glare. This is also known as "visual noise".

In seiner einfachsten Form ist Blendung eine Konsequenz der normalerweise hilfreichen Fähigkeit des menschlichen Auges zur Adaption auf unterschiedliche Helligkeitsniveaus. Diese Adaption erfolgt durch eine Anpassung der Pupillenweite an die jeweiligen Lichtverhältnisse. Diese Anpassung benötigt jedoch jeweils eine gewisse Zeit. Während der Zeit bis zur erfolgten Anpassung können besonders unangenehm empfundene Blendungen entstehen. In its simplest form, glare is a consequence of the normally helpful ability of the human eye to adapt to different levels of brightness. This adaptation takes place by adjusting the pupil width to the respective lighting conditions. However, this adaptation takes a certain amount of time. During the time until the adaptation is complete, particularly unpleasant glare can occur.

Es werden dabei mit der Direktblendung, der Reflexblendung, der psychologischen Blendung, der physiologischen Blendung und der Vollblendung mindestens fünf unterschiedliche Blendungen unterschieden. Die Direktblendung wird von hohen sichtbaren Leuchtdichten im Gesichtsfeld eines Menschen verursacht. Beispiele für eine Direktblendung sind beispielsweise sonnenbeschienene Flächen innerhalb oder außerhalb des Gebäudes oder ungenügend ausgeblendete Leuchten. Von einer Reflexblendung spricht man bei einer Glanzreflexion auf einer Oberfläche, welche häufig von einer Lichtquelle außerhalb des Gesichtsfeldes stammt. Die dadurch entstehende Leuchtdichten überlagern die zu erkennenden Details auf oder hinter dieser (reflektierenden) Oberfläche teilweise oder ganz. Kontraste sind nicht erkennbar oder zumindest stark reduziert. Eine psychologische Blendung ist eine Form von Blendung, welche als unangenehm oder ablenkend empfunden wird. Sie stört bei einem Menschen häufig nur unbewusst die Aufnahme von visueller Information, ohne die Wahrnehmung von Details wirklich zu verhindern. Davon zu unterscheiden ist die physiologische Blendung, bei der es sich um eine Form von Blendung handelt, welche die Wahrnehmung von visueller Information technisch messbar reduziert. Diese Blendung wird durch Streulicht innerhalb des Auges verursacht, welches die wahrnehmbaren Kontraste durch seine Schleierleuchtdichte reduziert. Bei der Vollblendung handelt es sich um eine so intensive Form von Blendung, dass jegliche visuelle Wahrnehmung für einen Menschen auch noch für eine gewisse Zeit nach Entfernung der Blendquelle unmöglich bleibt. At least five different types of glare are distinguished: direct glare, reflected glare, psychological glare, physiological glare and full glare. Direct glare is caused by high visible luminances in a person's field of vision. Examples of direct glare are, for example, sunlit surfaces inside or outside the building or insufficiently blocked out lights. Reflex glare is a glossy reflection on a surface, which often comes from a light source outside the field of vision. The resulting luminances partially or completely overlay the details to be recognized on or behind this (reflective) surface. Contrasts are not recognizable or at least greatly reduced. Psychological glare is a form of glare that is perceived as unpleasant or distracting. It often only unconsciously disrupts a person's ability to absorb visual information without actually preventing the perception of details. This must be distinguished from physiological glare, which is a form of glare that technically measurably reduces the perception of visual information. This glare is caused by scattered light within the eye, which reduces the perceptible contrasts through its veiled luminance. Full glare is such an intense form of glare that any visual perception remains impossible for a person even for a certain time after the glare source has been removed.

Bei der Bewertung der Blendung - und ihren oben geschilderten unterschiedlichen Ausprägungen - ist zu beachten dass die von einem menschlichen Auge empfundene Helligkeit einer Lichtquelle üblicherweise nicht immer mit der physikalischen Lichtstärke einer Lichtquelle übereinstimmt. So beeinflusst beispielsweise der Kontrast mit der Umgebung die physiologische Wahrnehmung der Helligkeit. Dementsprechend wird eine Lichtquelle mit einer kleinen Oberfläche üblicherweise als heller (oder blendender) empfunden als eine Lichtquelle mit gleicher physikalischer Lichtstärke, aber einer größeren Oberfläche. Dieser Effekt kann zum Beispiel bei Autoscheinwerfern verschiedener Größe oder bei Auf- oder Untergang von Mond oder Sonne beobachtet werden. When assessing glare - and its different forms described above - it is important to note that the brightness of a light source perceived by the human eye does not always correspond to the physical luminous intensity of a light source. For example, the contrast with the environment influences the physiological Perception of brightness. Accordingly, a light source with a small surface is usually perceived as brighter (or more dazzling) than a light source with the same physical luminous intensity but a larger surface. This effect can be observed, for example, in car headlights of different sizes or when the moon or sun rises or sets.

Die Lichtstärke ist eine Eigenschaft der Lichtquelle und hängt nicht vom Abstand eines Beobachters ab. Sie wird in der Einheit Lumen angegeben und beziffert den Teil des Lichtstroms, der in eine bestimmte Richtung (pro Raumwinkel) emittiert wird. Dabei wird die spektrale Wahrnehmungsfähigkeit des menschlichen Auges in Betracht gezogen. Für den visuellen Eindruck wird dementsprechend die spektrale Empfindlichkeit des menschlichen Auges ("V-Lambda-Kurve") berücksichtigt. So ist beispielsweise die Lichtstärke einer Infrarot- Strahlungsquelle für das menschliche Auge gleich null, da sie für das menschliche Auge unsichtbar ist. The luminous intensity is a property of the light source and does not depend on the distance of an observer. It is given in the unit lumen and indicates the part of the luminous flux that is emitted in a certain direction (per solid angle). The spectral perception ability of the human eye is taken into account. The spectral sensitivity of the human eye ("V-Lambda curve") is taken into account for the visual impression. For example, the luminous intensity of an infrared radiation source is zero for the human eye because it is invisible to the human eye.

Für den Helligkeitseindruck einer beleuchteten Fläche ist entscheidend, über welche Fläche sich der Lichtstrom verteilt. Das Verhältnis von Lichtstrom zu beleuchteter Fläche ist die Beleuchtungsstärke, welche üblicherweise in Lux (Ix) angegeben wird. Dabei gilt 1 Ix = 1 lm/m². The area over which the luminous flux is distributed is crucial for the impression of brightness of an illuminated surface. The ratio of luminous flux to illuminated area is the illuminance, which is usually given in lux (Ix). 1 Ix = 1 lm/m ² .

Bei der Benutzung von VR-Brillen kann es zu einer Blendung des Nutzers kommen, wenn dieser die VR-Bril le absetzt. Hat der Nutzer beispielsweise vor dem Absetzen der VR-Brille ein dunkles Umfeld im Bereich der Augen an der VR-Brille, an das sich die Augen angepasst haben, so kann der Fahrzeugnutzer nach Absetzen der VR-Brille bei einer vergleichsweise hellen Fahrzeugkabine unangenehm geblendet werden. Andererseits kann, wenn der Nutzer unmittelbar vor dem Absetzen der VR-Brille ein helles Umfeld an der VR-Brille angezeigt bekommt, bei einer vergleichsweise dunklen Fahrzeugkabine für eine gewisse Zeit nach dem Absetzen der VR-Brille Details nur schlecht erkennen, da sich seine Augen erst an das dunkle Umfeld gewöhnen müssen. In beiden oben dargestellten Fällen benötigt der Nutzer beziehungsweise dessen Augen eine gewisse Zeit der Adaption (der Augen), um das Umfeld der Fahrzeugkabine erkennen zu können. When using VR glasses, the user may be blinded when they take them off. For example, if the user has a dark environment in the area of the eyes on the VR glasses before taking them off, to which the eyes have adapted, the vehicle user may be unpleasantly blinded after taking the VR glasses off in a comparatively bright vehicle cabin. On the other hand, if the user sees a bright environment on the VR glasses immediately before taking the VR glasses off, it may be difficult to see details in a comparatively dark vehicle cabin for a certain time after taking the VR glasses off, as the user's eyes first have to get used to the dark environment. In both cases described above, the user or their eyes need a certain amount of time to adapt (to the eyes) in order to be able to see the area around the vehicle cabin.

Dies ist bei der Benutzung von VR-Brillen in einem Fahrzeug von besonderer Bedeutung, da sich durch die Fahrt die Umgebungsbedingungen grundlegend ändern können und das Fahrzeug auch bei einer sehr kurzen Fahrstrecke zwischen sehr hellen (beispielsweise Außenbedingungen bei Sonnenschein) und sehr dunklen Umgebungen (beispielsweise eine Tiefgarage) wechseln kann. Weiter verstärkt wird dieser unangenehme Effekt, wenn dieser Helligkeitswechsel gemeinsam mit einer schlagartig starken Änderung der Umgebungslautstärke (beispielsweise durch Verkehrslärm) beim Absetzen der VR-Brille auftritt, insbesondere wenn die VR-Brille mit einem System zur Unterdrückung von Umgebungsgeräuschen ausgestattet ist. This is particularly important when using VR glasses in a vehicle, as the ambient conditions can change fundamentally during the journey and the vehicle can switch between very bright (e.g. outdoor conditions in sunshine) and very dark environments (e.g. an underground car park) even over a very short distance. This unpleasant effect is further intensified if this change in brightness occurs together with a sudden, strong change in the ambient noise level (e.g. due to traffic noise) when the VR glasses are removed, especially if the VR glasses are equipped with a system for suppressing ambient noise.

Ebenso kann ein dem oben beschriebenen Helligkeitswechsel ähnlicher Effekt auch nach dem Aufsetzen der VR-Brille auftreten, nämlich wenn das das Innere der Fahrzeugkabine vergleichsweise dunkel ist und nach dem Aufsetzen der VR-Brille die Augen schlagartig mit einer hohen Lichtintensität und/oder Helligkeit durch die Anzeigeeinrichtungen der VR-Brille konfrontiert werden. Likewise, an effect similar to the brightness change described above can also occur after putting on the VR glasses, namely if the interior of the vehicle cabin is comparatively dark and after putting on the VR glasses the eyes are suddenly confronted with a high light intensity and/or brightness from the display devices of the VR glasses.

Es besteht daher ein Bedarf an einem Verfahren und einem System welchen den Komfort eines Nutzers bei der Verwendung einer VR-Brille steigert, insbesondere beim Wechsel zwischen der realen Welt und der virtuellen Welt, beispielsweise beim Auf- oder absetzen einer VR-Brille. There is therefore a need for a method and a system that increases the comfort of a user when using VR glasses, especially when switching between the real world and the virtual world, for example when putting on or taking off VR glasses.

Diese Aufgabe wird durch ein Verfahren nach Patentanspruch 1, ein System nach Patentanspruch 6 sowie ein Fahrzeug nach Patentanspruch 10 gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche. This object is achieved by a method according to patent claim 1, a system according to patent claim 6 and a vehicle according to patent claim 10. Advantageous embodiments and further developments of the invention are the subject of the subclaims.

Das erfindungsgemäße Verfahren zur komfortoptimierten Anpassungen einer Helligkeiten und/oder einer Lautstärke bei einer Nutzung einer VR-Brille in einem Fahrzeug umfasst die Schritte: The method according to the invention for comfort-optimized adjustments of brightness and/or volume when using VR glasses in a vehicle comprises the steps:

Detektieren eines Helligkeitswertes und/oder eines Lautstärkewertes in einer Fahrzeugkabine durch mindestens einen Sensor, Detecting a brightness value and/or a volume value in a vehicle cabin by at least one sensor,

Berechnen eines erwarteten Helligkeitswertes und/oder Lautstärkewertes im Bereich der Augen und/oder Ohren eines Nutzers der VR-Brille nach Absetzen der VR-Brille unter Berücksichtigung des detektierten Helligkeitswerts und/oder Lautstärkewertes, Ermitteln eines auf mindestens eines der Augen und/oder Ohren des Benutzers der VR- Brille einwirkenden Helligkeitswerts und/oder Lautstärkewertes während der Nutzung der VR-Brille, Calculating an expected brightness value and/or volume value in the area of the eyes and/or ears of a user of the VR glasses after removing the VR glasses, taking into account the detected brightness value and/or volume value, determining a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses during use of the VR glasses,

Vergleich des ermittelten Helligkeitswerts und/oder Lautstärkewertes mit dem berechneten erwarteten Helligkeitswert und/oder Lautstärkewert, und Comparison of the determined brightness value and/or volume value with the calculated expected brightness value and/or volume value, and

Anpassen mindestens einer Helligkeit und/oder Lautstärk derart, dass eine Abweichung zwischen einem auf mindestens eines der Augen und/oder Ohren des Nutzers der VR-Brille einwirkenden Helligkeitswert und/oder Lautstärkewert und einem erwarteten Helligkeitswert und/oder Lautstärkewert im Bereich der Augen und/oder Ohren eines Nutzers der VR-Brille nach Absetzen der VR-Brille berücksichtigt wird, und dabei insbesondere um weniger als 20% voneinander abweicht. Adjusting at least one brightness and/or volume such that a deviation between a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses and an expected brightness value and/or volume value in the area of the eyes and/or ears of a user of the VR glasses after removing the VR glasses is taken into account, and in particular deviates by less than 20%.

Es wurde gefunden, dass bei einer solch geringen Abweichung der Helligkeit und/oder Lautstärke der Übergang zwischen einer virtuellen Realität und der realen Welt für einen Nutzer besonders leicht möglich ist. Es treten keine oder lediglich kurzzeitige Beeinträchtigungen der Sehfähigkeit und/oder der Orientierung für den Nutzer auf, da keine oder lediglich eine geringfügige Anpassung der Pupillenweite notwendig ist. Ebenso ist die Gefahr des Erschreckens aufgrund plötzlich auftretenden Lärms reduziert. It has been found that with such a small deviation in brightness and/or volume, the transition between virtual reality and the real world is particularly easy for a user. There is no or only a short-term impairment of the user's vision and/or orientation, as no or only a slight adjustment of the pupil size is necessary. The risk of being startled by sudden noise is also reduced.

Insbesondere ist dabei bevorzugt, dass zum Detektieren des Helligkeitswertes und/oder Lautstärkewertes in der Fahrzeugkabine ein fahrzeuggebundener Sensor genutzt wird. Dies hat den Vorteil, dass ein größerer Bereich, beispielsweise der gesamte Kopfbereich des Nutzers zur Ermittlung des Helligkeitswerts herangezogen werden kann. Dies verringert die Gefahr, dass bei der mit dem Auf- oder Absetzen der VR-Brille einhergehende Kopfbewegung des Nutzers zu einer veränderten Lichteinstrahlung in den Bereich dessen Augen und/oder einem veränderten Schalldruck im Bereich der Ohren führt. Dadurch sind bessere Vorhersagen des erwarteten Helligkeitswertes im Bereich der Augen und/oder der Lautstärke im Bereich der Ohren eines Nutzers der VR-Brille nach Absetzen der VR-Brille möglich. Außerdem kann durch die fahrzeugseitige Anordnung des Sensors das Gewicht der VR-Brille im Vergleich zu einer VR-Brille mit Sensor reduziert sein, was ebenfalls den Komfort erhöht. In particular, it is preferred that a vehicle-mounted sensor is used to detect the brightness value and/or volume value in the vehicle cabin. This has the advantage that a larger area, for example the entire head area of the user, can be used to determine the brightness value. This reduces the risk that the user's head movement when putting on or taking off the VR glasses leads to a change in the light irradiation in the area of the eyes and/or a change in the sound pressure in the area of the ears. This enables better predictions of the expected brightness value in the area of the eyes and/or the volume in the area of the ears of a user of the VR glasses after taking off the VR glasses. In addition, the vehicle-side arrangement of the sensor can reduce the weight of the VR glasses compared to VR glasses with a sensor, which also increases comfort.

In einer weiteren bevorzugten Ausführungsform werden zum Detektieren des Helligkeitswertes und/oder Lautstärkewertes in der Fahrzeugkabine mehrere Sensoren genutzt, wovon bevorzugt einer oder mehrere Sensoren ein fahrzeuggebundener Sensor ist. Es ist jedoch nicht zwingend erforderlich - wenn auch aus den oben genannten Gründen bevorzugt - dass alle Sensoren fahrzeuggebundene Sensoren sind. Mehrere Sensoren erlauben es die Helligkeit und/oder Lautstärke an mehreren Punkten und/oder aus mehreren Richtungen zu detektieren. Dadurch kann die Richtung des Lichteinfalls und/oder der Schallwellen in die Fahrzeugkabine ermittelt werden und eventuelle Veränderungen des erwarteten Helligkeitswertes und/oder Lautstärkewertes im Bereich der Augen und/oder Ohren eines Nutzers der VR-Brille nach Absetzen der VR-Brille in Abhängigkeit von Fahrmanövern wie beispielsweise einer Kurvenfahrt ermittelt werden. In a further preferred embodiment, several sensors are used to detect the brightness value and/or volume value in the vehicle cabin, of which one or more sensors are preferably a vehicle-mounted sensor. However, it is not absolutely necessary - although preferred for the reasons mentioned above - that all sensors are vehicle-mounted sensors. Several sensors make it possible to detect the brightness and/or volume at several points and/or from several directions. This makes it possible to determine the direction of the light incidence and/or sound waves in the vehicle cabin and to determine any changes in the expected brightness value and/or volume value in the area of the eyes and/or ears of a user of the VR glasses after removing the VR glasses depending on driving maneuvers such as cornering.

Vorzugsweise erfolgt der Schritt des Anpassens der mindestens einen Helligkeit und/oder Lautstärke zu einem Zeitpunkt und/oder ist zu einem Zeitpunkt abgeschlossen, an dem ein Absetzwahrscheinlichkeitswert erhöht ist. Der Absetzwahrscheinlichkeitswert ist dabei ein Wert, der für eine Wahrscheinlichkeit für ein Absetzen der VR-Brille durch den Nutzer charakteristisch ist. Vorzugsweise wird zur Berechnung des Absetzwahrscheinlichkeitswerts mindestens ein Datum genutzt, welches ausgewählt ist aus einer Gruppe, die eine aktuelle Uhrzeit, eine von einem Navigationssystem berechnete Ankunftszeit an einem Ziel- oder Zwischenzielort, eine Fahrzeugposition, ein vorbekanntes Fahrmuster, eine Bewegung des Nutzers der VR-Brille, ein aktuelles Wetterdatum, Sensordaten mindestens eines anderen Fahrzeugs und durch eine fahrzeugseitige Kamera ermittelte Umgebungsdaten umfasst. Ein erhöhter Absetzwahrscheinlichkeitswert kann beispielsweise dann vorliegen, wenn ein in einem Navigationssystem eingegebenes Fahrziel erreicht ist. Ebenso kann beispielsweise aus einem bekannten Fahrmuster, wie beispielsweise eine werktägliche Fahrt zum regelmäßigen Arbeitsplatz, einen starker Hinweis auf ein am üblichen Zielort zu erwartenden Absetzen der VR-Brille abgeleitet werden. Auch eine Bewegung des Nutzers, beispielsweise das Heben seiner Hände in Richtung der VR-Brille, kann auf einen erhöhten Absetzwahrscheinlichkeitswert hindeuten. Preferably, the step of adjusting the at least one brightness and/or volume occurs at a time and/or is completed at a time at which a The probability of dropping off is increased. The probability of dropping off is a value that is characteristic of the probability of the user taking off the VR glasses. Preferably, at least one data selected from a group that includes a current time, an arrival time calculated by a navigation system at a destination or intermediate destination, a vehicle position, a previously known driving pattern, a movement of the user of the VR glasses, a current weather date, sensor data from at least one other vehicle and environmental data determined by a vehicle-side camera is used to calculate the probability of dropping off. An increased probability of dropping off can, for example, be present when a destination entered in a navigation system is reached. Likewise, a known driving pattern, such as a weekday trip to the regular workplace, can be used to derive a strong indication that the VR glasses are expected to be taken off at the usual destination. A movement by the user, for example raising his hands towards the VR glasses, can also indicate an increased probability of dropping off.

Eine Helligkeitsanpassung für die Augen und/oder eine Lautstärkeanpassung für die Ohren eines Fahrzeugnutzers wird vorzugsweise gestartet, wenn bekannt ist, dass für einen bestimmten zukünftigen Zeitpunkt der Absetzwahrscheinlichkeitswerteinen vordefinierten Grenzwert übersteigt. Das Starten der Helligkeitsanpassung erfolgt vorzugsweise so rechtzeitig, dass eine Anpassung der Pupillenweite des Nutzers bis zum Zeitpunkt des erwarteten Absetzens der VR-Brille abgeschlossen ist. Der Zeitraum, über den die Anpassung erfolgt, wird auch als Anpassungszeit bezeichnet. A brightness adjustment for the eyes and/or a volume adjustment for the ears of a vehicle user is preferably started when it is known that the probability of removal exceeds a predefined limit value for a certain future point in time. The brightness adjustment is preferably started in time so that an adjustment of the user's pupil width is completed by the time the VR glasses are expected to be removed. The period over which the adjustment takes place is also referred to as the adaptation time.

Zur Berechnung der Anpassungszeit wird vorzugsweise ein mindestens ein Datum herangezogen, das ausgewählt ist aus einer Gruppe, die eine Rate der Anpassung der Pupillenweite des Nutzers aus vorherigen Nutzungen der VR-Brille, Daten einer Vergleichsgruppe, ein bekanntes individuelles Helligkeits- und/ oder Lautstärke-Empfinden des Nutzers, eine Tages- und/oder Jahreszeit, ein Biorhythmus des Nutzers, ein Kontext einer Fahrt, Daten eines Navigationssystems und ein Wetterdatum umfasst. So ist beispielsweise denkbar, dass eine Routenplanung des Navigationssystems mit voraussichtlichen Licht- (beziehungsweise Wetter-) und Lautstärkebedingungen zum Zeitpunkt der voraussichtlichen Ankunft am Ziel herangezogen wird. Ist der Zielort beispielsweise eine Garage und wird seitens des Fahrzeugnutzers voraussichtlich dort die VR-Brille abgesetzt, so kann vorweg entsprechend der (bekannten) Bedingungen in der Garage eine Anpassung erfolgen. Alternativ oder ergänzend dazu kann ein anlernbares Systems künstlicher Intelligenz genutzt werden. Um die Auswirkung einer Blendung oder eines Unbehagens bei einem Fahrzeugnutzer erkennen und zuordnen zu können. Dieses System kann vorzugsweise auf mindestens ein Datum, vorzugsweise mehrere Daten der oben genannten Gruppe zugreifen. Vorzugsweise kann das System künstlicher Intelligenz auch auf Daten eines Kamerasystems mit Bildverarbeitung zugreifen. Dadurch wird beispielsweise das Erkennen von zusammengekniffenen Augen oder Unbehagens des Nutzers an der Mimik oder Körperhaltung erkannt werden. Werden derartige Auswirkungen erkannt, dass das System künstlicher Intelligenz die Anpassungszeit individuell und/oder selbstständig optimieren. To calculate the adaptation time, at least one data is preferably used, which is selected from a group that includes a rate of adaptation of the user's pupil width from previous uses of the VR glasses, data from a comparison group, a known individual brightness and/or volume perception of the user, a time of day and/or year, a biorhythm of the user, a context of a trip, data from a navigation system and a weather date. For example, it is conceivable that a route planning of the navigation system with expected light (or weather) and volume conditions at the time of the expected arrival at the destination is used. If the destination is a garage, for example, and the vehicle user is expected to put the VR glasses down there, an adjustment can be made in advance according to the (known) conditions in the garage. Alternatively or in addition to this, a trainable artificial intelligence system can be used to detect and assign the effect of glare or discomfort to a vehicle user. This system can preferably access at least one piece of data, preferably several pieces of data from the above-mentioned group. The artificial intelligence system can preferably also access data from a camera system with image processing. This will enable, for example, the recognition of squinting eyes or discomfort on the part of the user based on their facial expressions or posture. If such effects are detected, the artificial intelligence system can optimize the adaptation time individually and/or independently.

Bevorzugt ist das Modell maschinellen Lernens zur Ausführung eines (computerimplementierten) Computer- Verfahrens geeignet und bestimmt, in welchem (computer-implementierte) Wahrnehmungs- und/oder Erfassungsaufgaben ausgeführt werden, beispielsweise (computer-implementierte) Verfahren zur semantischen Segmentierung und/oder (computer-implementierte) Objektklassifizierung. Dabei wird bei der Objektklassifizierung ein in Messwerten (oder in für die Messwerte charakteristischen Sensordaten) erfasstes und/oder dargestelltes Signal einer (vorher eingelernten und/oder vorgegebenen) Klasse zugeordnet. Bei den Klassen kann es sich (unter anderem) um eine Bedeutung (insbesondere in Bezug auf eine Bewegung des Nutzers und/oder Pupillenweite) eines erfassten Signals und/oder eine für eine Bedeutung des erfassten Signals charakteristische Benachrichtigungsgröße handeln. Preferably, the machine learning model is suitable for executing a (computer-implemented) computer method and determines in which (computer-implemented) perception and/or detection tasks are carried out, for example (computer-implemented) methods for semantic segmentation and/or (computer-implemented) object classification. In the object classification, a signal recorded and/or displayed in measured values (or in sensor data characteristic of the measured values) is assigned to a (previously learned and/or predetermined) class. The classes can be (among other things) a meaning (in particular in relation to a user movement and/or pupil width) of a detected signal and/or a notification size characteristic of a meaning of the detected signal.

Bevorzugt basiert das Modell maschinellen Lernens auf einem (künstlichen) neuronalen Netzwerk (Kl - Künstliche Intelligenz). Bevorzugt werden dem künstlichen neuronalen Netzwerk die Sensordaten (oder hiervon abgeleitete Daten) als Eingangsgrößen zugeführt. Bevorzugt bildet das künstliche neuronale Netzwerk die Eingangsgrößen in Abhängigkeit einer (durch die trainierbaren bzw. trainierten Parameter) parametrierbaren bzw. parametrierten Verarbeitungskette auf Ausgangsgrößen ab. Preferably, the machine learning model is based on an (artificial) neural network (AI - Artificial Intelligence). Preferably, the sensor data (or data derived from this) are fed to the artificial neural network as input variables. Preferably, the artificial neural network maps the input variables to output variables depending on a parameterizable or parameterized processing chain (through the trainable or trained parameters).

Ein solches neuronales Netzwerk kann beispielsweise als tiefes neuronales Netzwerk (Deep Neural Network, DNN), bei dem die parametrierbare Verarbeitungskette eine Mehrzahl von Verarbeitungsschichten aufweist, und/oder ein sogenanntes Convolutional Neural Network (CNN) (dt. Faltungsnetzwerk) und/oder ein rekurrentes Neuronales Netzwerk (RNN, engl. Recurrent Neural Network) ausgestaltet sein. Bevorzugt wird durch das Training die parametrierbare Verarbeitungskette parametriert. Bevorzugt werden als Trainingsdaten Datensätze in Bezug auf obig beschriebene (Basis-) Datensätze und/oder Trainings-Datensätze verwendet. Bevorzugt erfolgt das Training mittels überwachtem Lernen. Es wäre jedoch auch möglich, das Künstliche Neuronale Netz mittels unbeaufsichtigtem Lernen, bestärkendem Lernen oder stochastischem Lernen zu trainieren. Such a neural network can be designed, for example, as a deep neural network (DNN), in which the parameterizable processing chain has a plurality of processing layers, and/or a so-called convolutional neural network (CNN) and/or a recurrent neural network (RNN). The parameterizable processing chain is preferably parameterized by training. Preferably, data sets relating to the (basic) data sets and/or training data sets described above are used as training data. Preferably, training is carried out by means of supervised learning. However, it would also be possible It is possible to train the artificial neural network using unsupervised learning, reinforcement learning or stochastic learning.

In einer bevorzugten Variante des Verfahrens nimmt eine Kamera eine Reaktion und/oder Verhaltensweise des Nutzers der VR-Bril le nach Absetzen der VR-Bril le auf. Ein mit der Kamera verbundenes Computersystem ermittelt aus der Reaktion und/oder Verhaltensweise einen Anpassungswert, der für eine für diesen Nutzer ausreichend geringe Abweichung zwischen dem auf mindestens eines der Augen und/oder Ohren des Nutzers der VR-Brille einwirkenden Helligkeitswert und/oder Lautstärkewert und einem erwarteten Helligkeitswert und/oder Lautstärkewert im Bereich der Augen und/oder Ohren eines Nutzers der VR-Brille nach Absetzen der VR-Brille charakteristisch ist. Zeigt der Nutzer beispielsweise eine Orientierungslosigkeit und/oder Anzeichen einer über einen längeren Zeitraum andauernden Anpassung der Pupillenweite, deutet dies darauf hin, dass der Anpassungswert keine ausreichend geringe Abweichung zwischen dem auf mindestens eines der Augen des Nutzers der VR-Brille einwirkenden Helligkeitswert und einem erwarteten Helligkeitswertes beschreibt. In a preferred variant of the method, a camera records a reaction and/or behavior of the user of the VR glasses after taking off the VR glasses. A computer system connected to the camera determines an adaptation value from the reaction and/or behavior that is characteristic of a sufficiently small deviation for this user between the brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses and an expected brightness value and/or volume value in the area of the eyes and/or ears of a user of the VR glasses after taking off the VR glasses. If the user shows, for example, disorientation and/or signs of an adjustment of the pupil width over a longer period of time, this indicates that the adaptation value does not describe a sufficiently small deviation between the brightness value acting on at least one of the eyes of the user of the VR glasses and an expected brightness value.

In einer bevorzugten Variante des Verfahrens wird zur Anpassung des Helligkeitswerts und/oder Lautstärkewertes einer auf mindestens eines der Augen und/oder Ohren des Nutzers der VR-Brille einwirkenden Helligkeitswert und/oder Lautstärkewert während der Nutzung der VR-Brille verändert. Vorzugsweise wird diese Helligkeit und/oder Lautstärke auf einen Helligkeitswert und/oder Lautstärkewert eingestellt, der im Wesentlichen dem Helligkeitswerts und/oder Lautstärkewert in der Fahrzeugkabine, insbesondere einem Helligkeitswert und/oder Lautstärkewert im Bereich der Augen und/oder Ohren eines Nutzers, entspricht. Dadurch kann nach dem Absetzen der VR-Brille beispielsweise eine weitere Anpassung der Pupillenweite unterbleiben und eine Orientierungslosigkeit und/oder Blendung des Nutzers nach Absetzen der VR-Brille vermieden werden oder der Zeitraum, über den die Orientierungslosigkeit und/oder Blendung auftritt verkürzt werden. In a preferred variant of the method, in order to adjust the brightness value and/or volume value, a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses is changed during use of the VR glasses. Preferably, this brightness and/or volume is set to a brightness value and/or volume value that essentially corresponds to the brightness value and/or volume value in the vehicle cabin, in particular a brightness value and/or volume value in the area of the eyes and/or ears of a user. As a result, for example, further adjustment of the pupil width can be avoided after the VR glasses have been removed and disorientation and/or glare of the user after removing the VR glasses can be avoided or the period over which the disorientation and/or glare occurs can be shortened.

Die Lichtintensität beziehungsweise die auf mindestens eines der Augen des Benutzers der VR- Brille einwirkende Helligkeit während der Nutzung der VR-Brille wird vorzugsweise vor einem voraussichtlichen Absetzen der VR-Brille gesteigert oder gesenkt, so dass die Augen des Nutzers genügend Zeit haben für eine Adaption haben, sich also an ein helleres oder dunkleres Umfeld in der Fahrzeugkabine vorbereiten können. Vorzugsweise ist eine Anpassung der Pupillenweite an eine (größere oder geringere) Helligkeit in der Fahrzeugkabine beim tatsächlichen Absetzen der VR-Brille bereits abgeschlossen. In einer bevorzugten Variante des Verfahrens wird zur Anpassung des Helligkeitswerts und/oder Lautstärkewertes eine Helligkeit und/oder Lautstärke innerhalb einer Fahrzeugkabine verändert. Dies kann ergänzend oder alternativ zu der zuvor beschriebenen Anpassung der auf mindestens eines der Augen und/oder Ohren des Benutzers der VR-Brille einwirkende Helligkeit und/oder Lautstärke während der Nutzung der VR-Brille erfolgen. Als besonders bevorzugt zur Anpassung des Helligkeitswerts eine Helligkeit innerhalb einer Fahrzeugkabine haben sich eine Scheibenverdunkelung und/oder eine Beleuchtung der Fahrzeugkabine gezeigt. The light intensity or the brightness affecting at least one of the eyes of the user of the VR glasses during use of the VR glasses is preferably increased or decreased before the VR glasses are expected to be removed, so that the user's eyes have enough time to adapt, i.e. to prepare for a brighter or darker environment in the vehicle cabin. Preferably, an adjustment of the pupil width to a (greater or lower) brightness in the vehicle cabin is already completed when the VR glasses are actually removed. In a preferred variant of the method, a brightness and/or volume within a vehicle cabin is changed to adjust the brightness value and/or volume value. This can be done in addition to or as an alternative to the previously described adjustment of the brightness and/or volume acting on at least one of the eyes and/or ears of the user of the VR glasses while using the VR glasses. Darkening the windows and/or lighting the vehicle cabin have proven to be particularly preferred for adjusting the brightness value and brightness within a vehicle cabin.

Diese Ausführungsform hat den Vorteil, dass auch bei einem vergleichsweise unerwarteten Absetzen der VR-Brille die Helligkeit innerhalb der Fahrzeugkabine äußerst schnell an die zu diesem Zeitpunkt die auf mindestens eines der Augen des Benutzers der VR-Brille einwirkende Helligkeit während der Nutzung der VR-Brille angepasst werden kann. Die Adaption der Helligkeit innerhalb der Fahrzeugkabine kann dann anschließend vergleichsweise langsam erfolgen und bevorzugt derart langsam, dass für den Nutzer keine Orientierungslosigkeit und/oder Blendung auftritt. Die vergleichsweise langsame Anpassung der Pupillenweite kann bei dieser Variante nach dem Absetzen der VR-Brille erfolgen, da durch die zuvor erfolgte Anpassung der Helligkeit an die während der Nutzung der VR-Brille auf die Augen des Nutzers einwirkende Helligkeit keine abrupte Helligkeitsänderung auftritt. Vielmehr kann nach Absetzen der VR-Brille über einen vergleichsweise langen Zeitraum auch in der Fahrzeugkabine ein den Außenbedingungen entsprechender Helligkeitswert eingestellt werden, so dass führ den Fahrgast auch beim Verlassen des Fahrzeugs keine Orientierungslosigkeit und/oder Blendung auftritt. Dies kann beispielsweise über ein Dimmen der Fahrzeuginnenbeleuchtung oder eine Aufhebung der Scheibenverdunkelung erfolgen. This embodiment has the advantage that even if the VR glasses are removed relatively unexpectedly, the brightness inside the vehicle cabin can be adjusted extremely quickly to the brightness acting on at least one of the eyes of the VR glasses user at that time while the VR glasses are being used. The adaptation of the brightness inside the vehicle cabin can then take place relatively slowly and preferably so slowly that the user does not experience disorientation and/or glare. The relatively slow adjustment of the pupil width can take place in this variant after the VR glasses are removed, since the previous adjustment of the brightness to the brightness acting on the user's eyes while the VR glasses are being used means that no abrupt change in brightness occurs. Rather, after the VR glasses are removed, a brightness value corresponding to the outside conditions can also be set in the vehicle cabin over a relatively long period of time, so that the passenger does not experience disorientation and/or glare when leaving the vehicle. This can be done, for example, by dimming the vehicle's interior lighting or removing the window tinting.

Auch wenn oben die Vorteile der vorliegenden Erfindung meist in Bezug auf die Helligkeitsanpassung dargelegt sind, bestehen analoge Vorteile auch bei einer Lautstärkeanpassung. Dies ist insbesondere bei einer VR-Brille vorteilhaft, die eine akustische Abschattung gegenüber der Umwelt bietet. Dies kann beispielsweise durch geschlossene Kopfhörer und/oder adaptive Geräuschunterdrückung erfolgen. Bei derartigen VR-Brillen kann ein Nutzer vor dem Absetzen der VR-Brille gezielt darauf vorbereitet werden, dass die Lautstärke durch beispielsweise Verkehrslärm nach einem Absetzen der VR-Brille sehr laut sein wird. Dadurch kann vermieden werden, dass der Nutzer nach Absetzen der VR-Brille durch plötzlich laut auftretenden Verkehrslärm erschreckt wird. Vorzugsweise wird der Nutzer auf die in der Fahrzeugkabine herrschenden Geräuschkulisse dadurch vorbereitet, dass er bereits vor einem voraussichtlichen Absetzen der VR-Brille über Kopfhörer den bestehenden Verkehrslärm im akustischen Hintergrund mit steigender Lautstärkeintensität eingespielt bekommt. Alternativ oder ergänzend dazu könnte die Intensität der adaptiven Geräuschunterdrückung sukzessive reduziert werden. Even if the advantages of the present invention are mostly explained above in relation to brightness adjustment, analogous advantages also exist when adjusting the volume. This is particularly advantageous with VR glasses that offer acoustic shading from the environment. This can be done, for example, by closed headphones and/or adaptive noise suppression. With such VR glasses, a user can be specifically prepared before taking off the VR glasses that the volume will be very loud, for example due to traffic noise, after taking off the VR glasses. This can prevent the user from being frightened by suddenly loud traffic noise after taking off the VR glasses. The user is preferably prepared for the background noise in the vehicle cabin by listening to the existing traffic noise via headphones before taking off the VR glasses. in the acoustic background with increasing volume intensity. Alternatively or in addition, the intensity of the adaptive noise suppression could be gradually reduced.

Auch wenn wie oben beschrieben die positive Effekte der vorliegenden Erfindung auch dann auftreten, wenn lediglich die Helligkeit oder die Lautstärke vor dem Absetzen der VR-Bri Ile angepasst wird, ist insbesondere bevorzugt, dass sowohl die Helligkeit als auch die Lautstärke vor dem Absetzen der VR-Brille nach dem oben beschriebenen Verfahren angepasst wird. Es hat sich nämlich gezeigt, dass insbesondere das plötzliche gemeinsame Auftreten eines großen Helligkeitsunterschiedes kombiniert mit einer plötzlich sehr lauten Umgebung durch beispielsweise Verkehrslärm nach einem Absetzen einer VR-Bri Ile auf einen Nutzer sehr verstörend wirken kann. Dem kann durch eine Anpassung von Helligkeit und Lautstärke besonders effektiv entgegengewirkt werden. Even if, as described above, the positive effects of the present invention also occur when only the brightness or the volume is adjusted before taking off the VR glasses, it is particularly preferred that both the brightness and the volume are adjusted before taking off the VR glasses using the method described above. It has been shown that the sudden simultaneous occurrence of a large difference in brightness combined with a suddenly very loud environment, for example due to traffic noise, after taking off VR glasses can have a very disturbing effect on a user. This can be counteracted particularly effectively by adjusting the brightness and volume.

Die der Erfindung zugrundeliegende Aufgabe wird außerdem durch eine Vorrichtung zur komfortoptimierten Anpassungen einer Helligkeit und/oder Lautstärke bei einer Nutzung einer VR-Bril le in einem Fahrzeug gelöst. Diese Vorrichtung umfasst The object underlying the invention is also achieved by a device for comfort-optimized adjustment of brightness and/or volume when using VR glasses in a vehicle. This device comprises

- mindestens einen Sensor zur Detektion eines Helligkeitswertes und/oder Lautstärkewertes in einer Fahrzeugkabine, und - at least one sensor for detecting a brightness value and/or volume value in a vehicle cabin, and

- eine mit dem mindestens einen Sensor über eine Datenverbindung angebundene Datenverarbeitungseinrichtung und eine damit verbundene Datenspeichereinrichtung, wobei die Datenverarbeitungseinrichtung dazu vorgesehen und eingerichtet ist, einen erwarteten Helligkeitswert im Bereich der Augen und/oder einen Lautstärkewert im Bereich der Ohren eines Nutzers der VR-Brille nach Absetzen der VR-Brille unter Berücksichtigung des detektierten Helligkeitswerts und/oder Lautstärkewertes zu berechnen und diesen Helligkeitswert und/oder Lautstärkewert mit einem auf mindestens eines der Augen und/oder Ohren des Nutzers der VR-Brille einwirkenden Helligkeitswerts und/oder Lautstärkewert während der Nutzung der VR-Brille zu vergleichen. - a data processing device connected to the at least one sensor via a data connection and a data storage device connected thereto, wherein the data processing device is provided and configured to calculate an expected brightness value in the area of the eyes and/or a volume value in the area of the ears of a user of the VR glasses after removing the VR glasses, taking into account the detected brightness value and/or volume value, and to compare this brightness value and/or volume value with a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses during use of the VR glasses.

Die Vorrichtung ist weiterhin gekennzeichnet durch eine Helligkeits- und/oder Lautstärkesteuereinrichtung, die dazu vorgesehen und eingerichtet ist, mindestens eine Helligkeit und/oder Lautstärke so einzustellen, dass eine Abweichung zwischen einem auf mindestens eines der Augen und/oder Ohren des Nutzers der VR-Brille einwirkenden Helligkeitswert und/oder Lautstärkewert und einem erwarteten Helligkeitswert im Bereich der Augen und/oder Lautstärkewert im Bereich der Ohren eines Nutzers der VR-Brille nach Absetzen der VR-Brille berücksichtigt wird, und dabei insbesondere um weniger als 20% voneinander abweicht. Vorzugsweise ist der Sensor zur Detektion eines Helligkeitswertes und/oder Lautstärkewertes in einer Fahrzeugkabine angeordnet ist. The device is further characterized by a brightness and/or volume control device which is provided and configured to adjust at least one brightness and/or volume such that a deviation between a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses and an expected brightness value in the area of the eyes and/or volume value in the area of the ears of a user of the VR glasses after removing the VR glasses is taken into account, and in particular deviates from each other by less than 20%. Preferably, the sensor for detecting a brightness value and/or volume value is arranged in a vehicle cabin.

In einer bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung zur Berechnung eines Zeitpunkts des wahrscheinlichen Absetzens der VR-Brille durch den Nutzer vorgesehen und eingerichtet. Die Datenverarbeitungseinrichtung weist vorzugsweise eine Datenverbindung mit einem Sensor und/oder einer Datenspeichereinrichtung auf. Weiter bevorzugt ist von dem Sensor und/oder der Datenspeichereinrichtung ein Datum bereitstellbar, welches ausgewählt ist aus einer Gruppe, die eine aktuelle Uhrzeit, eine von einem Navigationssystem berechnete Ankunftszeit en einem Ziel- oder Zwischenzielort, eine Fahrzeugposition, ein vorbekanntes Fahrmuster, eine Bewegung des Nutzers der VR-Brille, ein aktuelles Wetterdatum, Sensordaten mindestens eines anderen Fahrzeugs und durch eine fahrzeugseitige Kamera ermittelte Umgebungsdaten umfasst. In a preferred embodiment, the data processing device is provided and set up to calculate a time at which the VR glasses are likely to be removed by the user. The data processing device preferably has a data connection to a sensor and/or a data storage device. More preferably, the sensor and/or the data storage device can provide a date that is selected from a group that includes a current time, an arrival time calculated by a navigation system at a destination or intermediate destination, a vehicle position, a previously known driving pattern, a movement of the user of the VR glasses, a current weather date, sensor data from at least one other vehicle and environmental data determined by a vehicle-mounted camera.

In einer bevorzugten Ausführungsform weist die Vorrichtung eine Kamera auf, welche den Nutzer der VR-Brille zumindest teilweise und zumindest in über einem Zeitraum, der nach dem Absetzend er VR-Brille liegt, erfasst. In a preferred embodiment, the device has a camera which records the user of the VR glasses at least partially and at least over a period of time after the VR glasses have been removed.

Mindestens eine Datenverarbeitungseinrichtung steht vorzugsweise zumindest temporär mit einem Datennetz in Verbindung. Dadurch kann ermöglicht werden, dass das Computersystem beziehungsweise die Datenverarbeitungseinrichtung Updates erhält. Das Datennetz kann eine Datenverarbeitungseinrichtung mit einem System künstlicher Intelligenz umfassen, welche Daten einer Vielzahl von Datenverarbeitungseinrichtung (insbesondere verschiedener Fahrzeuge) erhält und aus diesen Daten verbesserte Algorithmen zur Berechnung einer Anpassung der Helligkeiten und/oder Lautstärken erzeugt. At least one data processing device is preferably connected to a data network, at least temporarily. This makes it possible for the computer system or the data processing device to receive updates. The data network can comprise a data processing device with an artificial intelligence system, which receives data from a large number of data processing devices (in particular different vehicles) and uses this data to generate improved algorithms for calculating an adjustment of the brightness and/or volume.

Weiterhin ist die vorliegende Erfindung auf ein Fahrzeug, insbesondere ein Kraftfahrzeug, gerichtet, welches eine wie oben beschriebene Vorrichtung zur komfortoptimierten Anpassungen einer Helligkeit und/oder Lautstärke bei einer Nutzung einer VR-Brille in einem Fahrzeug oder Teile davon umfasst und/oder zur Durchführung eines wie oben beschriebenen Verfahrens oder einem oder mehrerer Schritten davon eingerichtet und vorgesehen ist. Bei einem solchen Fahrzeug kann ein besonderer Komfort durch eine Anpassungen einer Helligkeit und/oder Lautstärke bei einer Nutzung einer VR-Brille in einem Fahrzeug geboten werden. Bevorzugt ist die Vorrichtung und/oder das Fahrzeug dazu eingerichtet, geeignet und/oder bestimmt, ein wie oben beschriebenes Verfahren sowie alle im Zusammenhang mit dem Verfahren beschriebene Verfahrensschritte einzeln oder in Kombination miteinander oder einzelne Verfahrensschritte unter der Verwendung der oben beschriebenen Vorrichtung auszuführen. Umgekehrt kann das Verfahren mit allen im Rahmen der Vorrichtung beschriebenen Merkmalen einzeln oder in Kombination miteinander durchgeführt werden. Furthermore, the present invention is directed to a vehicle, in particular a motor vehicle, which comprises a device as described above for comfort-optimized adjustments of brightness and/or volume when using VR glasses in a vehicle or parts thereof and/or is designed and provided for carrying out a method as described above or one or more steps thereof. In such a vehicle, particular comfort can be offered by adjusting brightness and/or volume when using VR glasses in a vehicle. Preferably, the device and/or the vehicle is designed, suitable and/or intended to carry out a method as described above and all method steps described in connection with the method individually or in combination with one another or individual method steps using the device described above. Conversely, the method can be carried out with all features described in the context of the device individually or in combination with one another.

Die Datenverarbeitungseinrichtung steht in einer bevorzugten Ausführungsform mit einer außerhalb des Fahrzeugs angeordneten Rechnereinrichtung in Verbindung. Durch eine solche Datenverbindung wird ermöglicht, dass für die Komfortsteigerung relevante Daten, beispielsweise Wetterdaten oder eine erwartete Ankunftszeit am Ziel von einer externer Stellen erhalten oder an eine externe Stelle weitergeleitet werden können. Dies ermöglicht eine genauerer Datenbasis für die gewünschte Komfortsteigerung und das Zusammenfassen von Daten. In a preferred embodiment, the data processing device is connected to a computer device arranged outside the vehicle. Such a data connection makes it possible for data relevant to the increase in comfort, for example weather data or an expected time of arrival at the destination, to be received from an external location or forwarded to an external location. This enables a more precise database for the desired increase in comfort and the summarization of data.

Bei einem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, welches ein von einem Fahrer selbst gesteuertes Kraftfahrzeug („Driver only“), ein halbautonomes, autonomes (beispielsweise der Autonomiestufe Level 3 oder 4 oder 5 (der Norm SAE J3016)) oder selbstfahrendes Kraftfahrzeug sein kann. Denkbar ist auch, dass es sich bei dem Fahrzeug um ein fahrerloses Transportsystem handelt. Darüber hinaus kann es sich bei dem Fahrzeug neben einem Straßenfahrzeug auch um ein Flugtaxi, ein Flugzeug, Schienenfahrzeug und ein anderes Fortbewegungsmittel oder eine andere Fahrzeugart handeln, beispielsweise ein Luft-, Wasseroder Schienenfahrzeug. A vehicle can be a motor vehicle that is controlled by a driver (“driver only”), a semi-autonomous, autonomous (for example, level 3 or 4 or 5 autonomy (of the SAE J3016 standard)) or self-driving motor vehicle. It is also conceivable that the vehicle is a driverless transport system. In addition to a road vehicle, the vehicle can also be an air taxi, an aircraft, a rail vehicle and another means of transport or another type of vehicle, for example an air, water or rail vehicle.

Die vorliegende Erfindung ist weiterhin gerichtet auf ein Computerprogramm oder Computerprogrammprodukt, umfassend Programmmittel, insbesondere einen Programmcode, welcher zumindest einige der und bevorzugt alle Verfahrensschritte des erfindungsgemäßen Verfahrens und bevorzugt eine der beschriebenen bevorzugten Ausführungsformen repräsentiert oder kodiert und zum Ausführen durch eine Prozessoreinrichtung ausgebildet ist. The present invention is further directed to a computer program or computer program product comprising program means, in particular a program code, which represents or encodes at least some of the and preferably all method steps of the method according to the invention and preferably one of the described preferred embodiments and is designed to be executed by a processor device.

Die vorliegende Erfindung ist weiterhin gerichtet auf einen Datenspeicher, auf welchem zumindest eine Ausführungsform des erfindungsgemäßen Computerprogramms oder einer bevorzugten Ausführungsform des Computerprogramms gespeichert ist. The present invention is further directed to a data storage device on which at least one embodiment of the computer program according to the invention or a preferred embodiment of the computer program is stored.

Die Anmelderin behält sich vor, sämtliche in den Anmeldungsunterlagen offenbarten Merkmale als erfindungswesentlich zu beanspruchen, sofern sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind. Es wird weiterhin darauf hingewiesen, dass in den einzelnen Figuren auch Merkmale beschrieben wurden, welche für sich genommen vorteilhaft sein können. Der Fachmann erkennt unmittelbar, dass ein bestimmtes in einer Figur beschriebenes Merkmal auch ohne die Übernahme weiterer Merkmale aus dieser Figur vorteilhaft sein kann. Ferner erkennt der Fachmann, dass sich auch Vorteile durch eine Kombination mehrerer in einzelnen oder in unterschiedlichen Figuren gezeigter Merkmale ergeben können. The applicant reserves the right to claim all features disclosed in the application documents as essential to the invention, provided that they individually or in combination are superior to are new to the state of the art. It is also pointed out that the individual figures also describe features which can be advantageous in themselves. The person skilled in the art will immediately recognize that a particular feature described in a figure can also be advantageous without adopting further features from this figure. The person skilled in the art will also recognize that advantages can also arise from a combination of several features shown in individual or different figures.

Claims

patent claims

1. Method for comfort-optimized adjustments of brightness and/or volume when using VR glasses in a vehicle, comprising the steps:

Detecting a brightness value and/or a volume value in a vehicle cabin by at least one sensor,

Calculating an expected brightness value and/or volume value in the area of the eyes and/or ears of a user of the VR glasses after removing the VR glasses, taking into account the detected brightness value and/or volume value,

Determining a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses during use of the VR glasses,

Comparison of the determined brightness value and/or volume value with the calculated expected brightness value and/or volume value, and

Adjusting at least one brightness and/or volume such that a deviation between a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses and an expected brightness value and/or volume value in the area of the eyes and/or ears of a user of the VR glasses after removing the VR glasses is taken into account, in particular deviates by less than 20%.

2. Method according to claim 1, characterized in that a vehicle-mounted sensor is used to detect the brightness value and/or volume value in the vehicle cabin.

3. Method according to one of the preceding claims, characterized in that the adjustment takes place and/or is completed at a time at which a set-down probability value, which is characteristic of a probability of the user taking off the VR glasses, is increased, wherein at least one date is preferably used to calculate the set-down probability value, which is selected from a group comprising a current time, an arrival time calculated by a navigation system at a destination or intermediate destination, a Vehicle position, a previously known driving pattern, a movement of the user of the VR glasses, a current weather date, sensor data from at least one other vehicle and environmental data determined by a vehicle-mounted camera.

4. Method according to one of the preceding claims, characterized in that a camera records a reaction and/or behavior of the user of the VR glasses after removing the VR glasses and a computer system connected to the camera determines an adaptation value from the reaction and/or behavior which is characteristic of a sufficiently small deviation for this user between the brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses and an expected brightness value and/or volume value in the area of the eyes and/or ears of a user of the VR glasses after removing the VR glasses.

5. Method according to one of the preceding claims, characterized in that in order to adapt the brightness value and/or volume value, a brightness and/or volume within a vehicle cabin is changed, preferably by darkening the windows and/or lighting the vehicle cabin, playing noise and/or suppressing noise.

6. Device for comfort-optimized adjustment of brightness and/or volume when using VR glasses in a vehicle, comprising

- at least one sensor for detecting a brightness value and/or volume value in a vehicle cabin,

- a data processing device connected to the at least one sensor via a data connection and a data storage device connected thereto, wherein the data processing device is provided and set up to calculate an expected brightness value in the area of the eyes and/or a volume value in the area of the ears of a user of the VR glasses after removing the VR glasses, taking into account the detected brightness value and/or volume value, and to compare this brightness value and/or volume value with a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses during use of the VR glasses, characterized by a brightness and/or volume control device which is provided and set up to control at least one brightness and/or volume so to set that a deviation between a brightness value and/or volume value acting on at least one of the eyes and/or ears of the user of the VR glasses and an expected brightness value in the area of the eyes and/or volume value in the area of the ears of a user of the VR glasses after removing the VR glasses is taken into account, in particular deviates by less than 20%.

7. Device according to claim 6, characterized in that the sensor for detecting a brightness value and/or volume value is arranged in a vehicle cabin.

8. Device according to claim 6 or 7, characterized in that the data processing device is provided and set up to calculate a time at which the VR glasses are likely to be taken off by the user, wherein the data processing device preferably has a data connection to a sensor and/or a data storage device, wherein the sensor and/or the data storage device can provide a date which is selected from a group comprising a current time, an arrival time calculated by a navigation system at a destination or intermediate destination, a vehicle position, a previously known driving pattern, a movement of the user of the VR glasses, a current weather date, sensor data of at least one other vehicle and environmental data determined by a vehicle-side camera.

9. Device according to one of claims 6 - 8, characterized in that it has a camera which records the user of the VR glasses at least partially and at least over a period of time after the VR glasses have been removed.

10. Vehicle, in particular a motor vehicle, which alone or in combination with VR glasses comprises a device according to one of claims 6 - 9 and/or is intended and set up to carry out a method according to one of claims 1 - 5.