[go: up one dir, main page]

WO2019138186A1 - Dispositif et procede ameliores de communication d'informations sonores a un utilisateur en realite augmentee - Google Patents

Dispositif et procede ameliores de communication d'informations sonores a un utilisateur en realite augmentee Download PDF

Info

Publication number
WO2019138186A1
WO2019138186A1 PCT/FR2019/050042 FR2019050042W WO2019138186A1 WO 2019138186 A1 WO2019138186 A1 WO 2019138186A1 FR 2019050042 W FR2019050042 W FR 2019050042W WO 2019138186 A1 WO2019138186 A1 WO 2019138186A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
user
orientation data
head
inertial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2019/050042
Other languages
English (en)
Inventor
Arnaud LENGLET
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Esthesix
Original Assignee
Esthesix
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1850271A external-priority patent/FR3076709B1/fr
Application filed by Esthesix filed Critical Esthesix
Publication of WO2019138186A1 publication Critical patent/WO2019138186A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Definitions

  • the invention lies in the field of the communication of sound information to a user in augmented reality.
  • Devices are known for communicating visual information to a user in augmented reality.
  • An object of the invention is in particular to overcome all or part of the aforementioned drawbacks.
  • a device suitable for being worn by a user and arranged to indicate sound information in augmented reality to the user comprising:
  • an inertial unit said head, arranged to be carried by the head of the user and to generate orientation data relating to the direction of the head;
  • an image capture device arranged to capture images and generate at least one captured image
  • a central processing unit configured for:
  • o receive orientation data, and o determining a binaural signal received at the level of the user's ears resulting from a sound emission by one or more virtual sources placed in the virtual space oriented from the orientation data received,
  • a listening unit arranged to reproduce the audio signal generated and intended to be carried by the head.
  • the user has the feeling that recognized objects generate sounds.
  • the object recognized by the neural network can also be a virtual object.
  • the neural network can detect a difference in level, for example in the subway between the platform and the rails, and create a virtual danger object positioned along the level difference. The visually impaired person can then be warned, by a sound source placed on the virtual object, the danger she faces.
  • the object recognized by the neural network can be a text, an obstacle or a person.
  • the image capture device may comprise one or more cameras.
  • the orientation data may comprise one or more information items, chosen in particular from the set of angles of roll, pitch and heading.
  • the neural network can be YOLO (for You Only Look Once), for real-time object detection.
  • the YOLO neural network harnesses the power of deep learning in artificial intelligence (Deep Learning).
  • the listening unit can be including a stereo headset.
  • the listening unit comprises bone conduction headphones.
  • the advantage of bone conduction is to allow open listening, that is to say without obstructing the ear canal. It is advantageous not to obstruct the auditory canal, especially for the visually impaired.
  • the listening unit may comprise "open" earphones, that is to say headphones that do not obstruct the ear canal.
  • the central unit is further configured to determine a haptic signal from the orientation data, the device further comprising vibration means configured to generate said haptic signal.
  • the CPU may further be configured to generate a plurality of distinct haptic signals, for example, separate vibrations, based on orientation data, their evolution, or reprocessing of these data.
  • haptic grammar implanted in the central unit and which includes a set of predetermined rules, and / or evolutionary, aiming at associating vibrations, or sequences of vibrations, according to data of orientation, of their evolution, or a reprocessing of these data.
  • the central unit may be further configured to determine an evolution of the user's position between a first and a second position, and to determine a modified binaural signal from said evolution between the two positions, the a central processing unit furthermore being configurable to generate the audio signal from the modified binaural signal modified.
  • the central unit can also be configured to determine the modified binaural signal from the binaural signal determined in the first position and the amplification of the evolution of the position of the binaural signal. user between the two positions.
  • the user can be quickly comforted or contradicted in his choice of movements by an amplification of the binaural signal variations between two displacements.
  • the audio signal may further comprise a signal indicating the proximity of an object of interest with a recognized object.
  • the indication signal may be an audio signal, which may be generated by the central unit, for example from the object of interest in the captured image.
  • the object of interest can advantageously be the hand of the user. This makes it possible to help the user to bring his hand closer to the recognized object, for example by means of verbal indication of "hot-cold" type or of a predetermined sound, notably a sound whose volume increases with the decreasing the distance between the user's hand and the recognized object.
  • the central unit can also be configured to determine voice instructions from the orientation data received and one or more recognized objects, and to add the determined voice instructions to audio signal.
  • Voice prompts can be "13 o'clock” or "6 o'clock” type. The voice prompts can remove the doubt about the location of the virtual sound source, and therefore the heading, when it is exactly in front of, or exactly behind the user. The voice prompts further improve the user's guidance.
  • the device may furthermore comprise an inertial unit, called a neck unit, arranged to be worn at the level of the user's neck and generate orientation data, the head inertial unit being furthermore configured to generate data from the user. orientation and the inertial neck unit being further configured to generate orientation data.
  • a neck unit an inertial unit, called a neck unit, arranged to be worn at the level of the user's neck and generate orientation data
  • the head inertial unit being furthermore configured to generate data from the user.
  • orientation and the inertial neck unit being further configured to generate orientation data.
  • the central processing unit can be further configured to:
  • Synchronization can begin with a calibration phase of the inertial head unit.
  • the user can ask himself to perform a particular movement of head, then to remain still for a few seconds. Magnetic north can thus be found (and stabilized) by the head inertial unit.
  • the inertial neck unit can be synchronized to this value. In this way, the two inertial units can have the same reference north.
  • the inertial unit of the neck can become the reference inertial unit.
  • this can be corrected by adding / subtracting the difference between the north indicated by the inertial neck unit, and the north indicated by the head inertial unit.
  • the central unit is arranged to be worn by the user.
  • the central unit is arranged at a distance from the user.
  • the device then comprises means for communicating the position data generated by the head inertial unit, possibly position data generated by the inertial central unit to the central unit, and means for communicating the audio signal generated by the central unit. central unit to the listening unit.
  • the device according to the invention comprises two or more units, inertial head unit, each being intended to be worn by a user and two listening units, each being intended to be worn by one of the users, the central unit being configured to generate different audio signals for different users.
  • the geographical positioning unit may for example be a GPS reception module, a GALILEO module or a GLONASS module.
  • a method of indicating sound information in augmented reality to a user comprising:
  • a generation of orientation data by an inertial unit said head, arranged to be carried by the head of the user and to generate orientation data relating to the direction of the head,
  • a determination, by the central processing unit, of a binaural signal received at the level of the user's ears resulting from a sound emission by the one or more virtual sources, placed in the virtual space oriented on the basis of guidance data received a generation, by the central processing unit, of an audio signal comprising the determined binaural signal
  • the method may comprise a determination by the central unit of a haptic signal from the orientation data and a generation of said haptic signal from vibration means.
  • the method may further comprise a determination by the central unit of an evolution of the position of the user between a first and a second position, and a modification by the central unit of the binaural signal determined from said evolution between the two positions, the generation by the central processing unit comprising the modified binaural signal modified.
  • the modified binaural signal can be determined on the one hand from the binaural signal determined in the first position and on the other hand from an amplification of the evolution of the position of the user between the two positions.
  • the user can be quickly comforted or contradicted in his choice of movements by an amplification of the binaural signal variations between two displacements.
  • the processing unit may further be configured to generate the binaural sound from at least one parameter describing a physical characteristic of the cranial box. and / or one and / or two of the user's ears.
  • HRTF transfer functions for the English Head Related Transfer Function.
  • the method can further implement an inertial unit, called neck, arranged to be worn at the neck of the user and generate orientation data.
  • an inertial unit called neck
  • the method may further comprise generation of orientation data by the head inertial unit and generation of orientation data by the inertial head unit, the central processing unit being further configured to:
  • the augmented reality sound information indication method may further comprise adding voice instructions to the audio signal by the central unit.
  • the sound information indication method may comprise a step of restitution by the listening unit of the last voice instructions and / or the last audio signal generated.
  • the restitution step may be triggered by a user pressing a predetermined part of the listening unit or a device operatively connected to the listening unit, for example a touch screen of a telephone portable. It is a mechanism that makes the user decision-maker when the information is given again, which tends to limit cognitive fatigue.
  • a computer program product downloadable from a communication network and / or stored on a computer readable medium and / or executable by a microprocessor, and loadable in an internal memory.
  • a calculation unit comprising program code instructions which, when executed by the computing unit, implement the steps of a method according to the second aspect of the invention, or one or many of his improvements.
  • Figure 1 shows schematically an embodiment of a device according to the invention
  • Figure 2 schematically shows a detail of two steps of an embodiment of a method according to the invention. Description of embodiment
  • variants of the invention comprising only a selection of characteristics described, subsequently isolated from the other characteristics described, if this selection of characteristics is sufficient. to confer a technical advantage or to differentiate the invention from the state of the prior art.
  • This selection comprises at least one characteristic, preferably functional without structural details, or with only a part of the structural details if this part alone is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art .
  • the device 1 comprises:
  • the head unit an inertial unit 2, called the head unit, arranged to be carried at the level of the user's head;
  • an image capture device 201 arranged to capture images and generate at least one captured image 202;
  • a neural network 204 for recognizing one or more objects appearing in the captured image 202;
  • a central processing unit 4 here a microprocessor of a smartphone, worn by the user;
  • a listening unit 5 which in the particular embodiment comprises an amplifier 6 and earphones 7 with bone conduction.
  • the method 100 comprises:
  • the processing unit 4 is furthermore configured to generate the binaural sound 11 from at least one parameter describing a physical characteristic of the cranial box and / or of the one and / or or two of the user's ears.
  • the processing unit 4 is further configured to determine a haptic signal from the orientation data.
  • the device 1 further comprises vibration means (not shown) and configured to generate said haptic signal.
  • the central unit can be configured to vibrate the vibrator disposed on the left side of the user.
  • the central unit can be configured to vibrate the vibrator disposed on the right side of the user.
  • the two sub-steps 102 and 104 for generating orientation data 8 and 9 are now more precisely described by the head inertial unit 2 and the inertial unit 3 of the neck.
  • Substeps 102 and 104 for generating the orientation data 8 and 9 include:
  • a rectification 140 from the rectification coefficient 13, of the orientation data 8 'generated by the head inertial unit 2 and the orientation data 9' generated by the inertial unit 3 of the neck, to determine, respectively, the orientation data 8 of the head 2 inertial unit and the orientation data 9 of the inertial unit 3 neck.
  • the method may comprise a step of determining an evolution of the position of the user, and a modification of the binaural signal determined according to said evolution, the generation by the central processing unit comprising the determined binaural signal amended.
  • the difference between the binaural signal SP1 and SP2 will be very small, and not may not be perceptible to any user, especially a hard-of-hearing user.
  • the SP2 signal will be changed so that it is the one that would result from a correct move of 10 meters in the right direction. This can be directly determined by the central unit.
  • the SP2 signal will be changed so that it is the one that would result from an incorrect move of 10 meters in the wrong direction. This can be directly determined by the central unit.
  • the user can be quickly comforted or contradicted in his choice of movements by an amplification of the binaural signal variations between two displacements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

Dispositif (1) porté par un utilisateur pour indiquer des informations sonores en réalité augmentée, comportant : une centrale inertielle (2) de tête, pour être portée par la tête de l'utilisateur et générer des données d'orientation (8) relatives à la direction de la tête ; un dispositif de capture d'image (201) pour générer une image capturée (202) ; une unité centrale de traitement (4) pour : recevoir l'image capturée, l'analyser au moyen d'un réseau de neurones (204) pour reconnaître un ou plusieurs objets (10) y apparaissant, générer un espace virtuel et y placer plusieurs sources sonores virtuelles pour chacun des objets reconnus, recevoir les données d'orientation, et déterminer un signal binaural (11) reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par les sources virtuelles placées dans l'espace virtuel orienté à partir des données d'orientation reçues, générer un signal audio (12), comportant le signal binaural déterminé; une unité d'écoute (5) pour restituer le signal audio généré et être portée au moins en partie par ladite tête.

Description

Dispositif et procédé améliorés de communication d’informations sonores à un utilisateur en réalité augmentée
Domaine technique
L’invention se situe dans le domaine de la communication d’informations sonores à un utilisateur en réalité augmentée.
État de la technique antérieure
On connaît des dispositifs pour communiquer des informations visuelles à un utilisateur en réalité augmentée.
Ces dispositifs ont pour inconvénient de nuire à la concentration visuelle de la personne et de ne pas pouvoir être utilisés par des personnes déficientes visuelles.
Exposé de l’invention
Un but de l’invention est notamment de remédier à tout ou partie des inconvénients précités.
Selon un premier aspect de l’invention, il est proposé un dispositif convenant à être porté par un utilisateur et agencé pour indiquer des informations sonores en réalité augmentée à l’utilisateur, comportant :
- une centrale inertielle, dite de tête, agencée pour être portée par la tête de l’utilisateur et pour générer des données d’orientation relatives à la direction de la tête ;
- un dispositif de capture d’image agencé pour capturer des images et générer au moins une image capturée,
- une unité centrale de traitement configurée pour :
o recevoir l’au moins une image capturée
o analyser ladite au moins une image capturée au moyen d’un réseau de neurones pour reconnaître un ou plusieurs objets apparaissant dans l’image,
o générer un espace virtuel et y placer une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus,
o recevoir les données d’orientation, et o déterminer un signal binaural reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par l’une ou plusieurs sources virtuelles placées dans l’espace virtuel orienté à partir des données d’orientation reçues,
o générer un signal audio comportant le signal binaural déterminé,
- une unité d’écoute agencée pour restituer le signal audio généré et destinée à être portée par la tête.
Aussi, l’utilisateur a la sensation que les objets reconnus génèrent des sons.
Ceci peut être utilisé pour indiquer à une personne malvoyante qu’il se présente un escalier devant elle.
L’objet reconnu par le réseau de neurones peut aussi être un objet virtuel. Par exemple, le réseau de neurones peut détecter une différence de niveau, par exemple dans le métro entre le quai et les rails, et créer un objet virtuel de danger positionné le long de la différence de niveau. La personne malvoyante peut alors être prévenue, par une source sonore placée sur l’objet virtuel, du danger auquel elle est confrontée.
Par extension, l’objet reconnu par le réseau de neurones peut être un texte, un obstacle ou encore une personne.
Selon une possibilité le dispositif de capture d’image peut comprendre une ou plusieurs caméras.
Les données d’orientation peuvent comprendre une ou plusieurs informations, notamment choisies parmi l’ensemble des angles de roulis, de tangage et de cap.
Le réseau de neurones peut être de type YOLO (pour l’anglais You Only Look Once), pour la détection en temps réel d’objet. Le réseau de neurones YOLO exploite la puissance de l’apprentissage profond en intelligence artificielle (Deep Learning en anglais).
L’unité d’écoute peut être notamment un casque stéréo.
De préférence, l’unité d’écoute comporte des écouteurs à conduction osseuse. L’intérêt de la conduction osseuse est de permettre une écoute ouverte, c’est-à-dire sans obstruer le conduit auditif. Il est avantageux de ne pas obstruer le conduit auditif, notamment pour des personnes malvoyantes. Bien entendu, plus généralement, l’unité d’écoute peut comporter des écouteurs « ouverts », c’est-à-dire des écouteurs qui n’obstruent pas le conduit auditif. Selon une possibilité, l’unité centrale est en outre configurée pour déterminer un signal haptique à partir des données d’orientation, le dispositif comportant en outre des moyens de vibration configurés pour générer ledit signal haptique.
L’unité centrale peut être en outre configurée pour générer une pluralité de signaux haptiques distincts, par exemple des vibrations distinctes, en fonction de des données d’orientation, de leur évolution, ou d’un retraitement de ces données.
On peut par extension parler de « grammaire haptique » implantée dans l’unité centrale et qui comporte un ensemble de règles prédéterminées, et/ou évolutives, visant à associer des vibrations, ou séquences de vibrations, en fonction de données d’orientation, de leurs évolutions, ou d’un retraitement de ces données.
De préférence, l’unité centrale peut être en outre configurée pour déterminer une évolution de la position de l’utilisateur entre une première et une deuxième position, et pour déterminer un signal binaural modifié à partir de ladite évolution entre les deux positions, l’unité centrale de traitement pouvant en outre être configurée pour générer le signal audio à partir du signal binaural déterminé modifié.
Avantageusement, l’unité centrale peut en outre être configurée pour déterminer le signal binaural modifié à partir d’une part du signal binaural déterminé dans la première position et d’autre part d’une amplification de l’évolution de la position de l’utilisateur entre les deux positions. Ainsi, l’utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements.
Selon un mode de réalisation avantageux, le signal audio peut en outre comprendre un signal d’indication de la proximité d'un objet d’intérêt avec un objet reconnu. Le signal d’indication peut être un signal audio, qui peut être généré par l’unité centrale, par exemple à partir de l’objet d’intérêt dans l’image capturée. L’objet d’intérêt peut avantageusement être la main de l’utilisateur. Cela permet d’aider l’utilisateur à rapprocher sa main de l’objet reconnu, par exemple au moyen d’indication verbale de type « chaud-froid » ou encore d’un son prédéterminé, notamment un son dont le volume augmente avec la diminution de la distance entre la main de l’utilisateur et l’objet reconnu.
Avantageusement, l’unité centrale peut en outre être configurée pour déterminer des instructions vocales à partir des données d’orientation reçues et des un ou plusieurs objets reconnus, et pour ajouter les instructions vocales déterminées au signal audio. Des instructions vocales peuvent être du type « à 13 heures » ou encore « à 6 heures ». Les instructions vocales peuvent permettre de lever le doute sur la localisation de la source sonore virtuelle, et donc du cap, lorsque celle-ci est exactement devant, ou exactement derrière l'utilisateur. Les instructions vocales améliorent encore le guidage de l'utilisateur.
Préférablement, le dispositif peut comporter en outre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer des données d’orientations, la centrale inertielle de tête étant en outre configurée pour générer des données d’orientation et la centrale inertielle de cou étant en outre configurée pour générer des données d’orientation.
Avantageusement, l’unité centrale de traitement peut être en outre configurée pour :
- synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification,
- rectifier, à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations de la centrale inertielle de tête et les données d’orientations de la centrale inertielle de cou.
La synchronisation peut commencer par une phase de calibration de la centrale inertielle de tête.
L'utilisateur peut se voire demander d’effectuer un mouvement particulier de tête, puis de rester immobile pendant quelques secondes. Le nord magnétique peut ainsi être trouvé (et stabilisé) par la centrale inertielle de tête.
Lorsque que le nord magnétique est stabilisé, la centrale inertielle de cou peut être synchronisée sur cette valeur. De cette façon, les deux centrales inertielles peuvent disposer du même nord de référence.
Au cours de l'utilisation, la centrale inertielle du cou peut devenir la centrale inertielle de référence. Lors d'une indication de direction donnée par la centrale inertielle de tête, celle-ci peut être corrigée en ajoutant/soustrayant la différence entre le nord indiqué par la centrale inertielle de cou, et le nord indiqué par la centrale inertielle de tête. Selon une possibilité avantageuse, l’unité centrale est agencée pour être portée par l’utilisateur.
Selon une autre possibilité, l’unité centrale est disposée à distance de l’utilisateur. Le dispositif comporte alors des moyens de communication des données de position générées par la centrale inertielle de tête— éventuellement des données de position générées par centrale inertielle de cou— à destination de l’unité centrale et des moyens de communication du signal audio généré par l’unité centrale à destination de l’unité d’écoute.
On comprend qu’il est aussi possible que le dispositif selon l’invention comporte deux, ou plus unités, centrale inertielle de tête, chacune étant destinée à être portée par un utilisateur et deux unités d’écoute, chacune étant destinée à être portée par l’un des utilisateurs, l’unité centrale étant configurée pour générer différents signaux audio à destination des différents utilisateurs.
L’unité de positionnement géographique peut par exemple être un module de réception GPS, un module GALILEO ou encore un module GLONASS.
Selon un deuxième aspect de l’invention, il est proposé un procédé d’indication d’informations sonores en réalité augmentée à un utilisateur, comportant :
- une génération de données d’orientation par une centrale inertielle, dite de tête, agencée pour être portée par la tête de l’utilisateur et pour générer des données d’orientation relatives à la direction de la tête,
- une capture par un dispositif de capture d’image d’au moins une image capturée,
- une réception par un réseau de neurones de l’au moins une image capturée,
- une analyse par le réseau de neurones de l’au moins une image reçue pour reconnaître un ou plusieurs objets apparaissant dans l’image,
- un placement dans un espace virtuel, par l’unité centrale de traitement, d’une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus,
- une réception des données d’orientation par l’unité centrale de traitement,
- une détermination, par l’unité centrale de traitement, d’un signal binaural reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par les une ou plusieurs sources virtuelles, placées dans l’espace virtuel orienté à partir des données d’orientation reçues, - une génération, par l’unité centrale de traitement, d’un signal audio, comportant le signal binaural déterminé,
- une restitution, par une unité d’écoute destinée à être portée par la tête, du signal audio généré.
Selon un mode de réalisation, le procédé peut comporter une détermination par l’unité centrale d’un signal haptique à partir des données d’orientation et une génération dudit signal haptique à partir de moyens de vibration.
De préférence, le procédé peut comporter en outre une détermination par l’unité centrale d’une évolution de la position de l’utilisateur entre une première et une deuxième position, et une modification par l’unité centrale du signal binaural déterminé à partir de ladite évolution entre les deux positions, la génération par l’unité centrale de traitement comportant le signal binaural déterminé modifié.
Avantageusement, le signal binaural modifié peut être déterminé à partir d’une part du signal binaural déterminé dans la première position et d’autre part d’une amplification de l’évolution de la position de l’utilisateur entre les deux positions. Ainsi, l’utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements.
Dans un mode de réalisation préféré du procédé d’indication d’informations sonores en réalité augmentée, l’unité de traitement peut en outre être configurée pour générer le son binaural à partir d’au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l’une et/ou deux des oreilles de l’utilisateur. On peut par exemple utiliser des fonctions de transfert HRTF (pour l’anglais Head Related Transfer Function).
Le procédé peut en outre mettre en œuvre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer des données d’orientations.
Le procédé peut comporter en outre une génération de données d’orientation par la centrale inertielle de tête et une génération de données d’orientation par la centrale inertielle de cou, l’unité centrale de traitement étant en outre configurée pour :
- synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification, - rectifier, à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations de la centrale inertielle de tête et les données d’orientations de la centrale inertielle de cou.
Avantageusement, le procédé d’indication d’informations sonores en réalité augmentée peut en outre comporter un ajout d’instructions vocales au signal audio par l’unité centrale.
Selon une possibilité, le procédé d’indication d’informations sonores peut comprendre une étape de nouvelle restitution par l’unité d’écoute des dernières instructions vocales et/ou du denier signal audio généré. L’étape de nouvelle restitution peut être déclenchée par appui d’un utilisateur sur une partie prédéterminée de l’unité d’écoute ou d’un dispositif fonctionnellement raccordé à l’unité d’écoute, par exemple un écran tactile d’un téléphone portable. C'est un mécanisme qui rend l'utilisateur décideur du moment auquel l'information lui est à nouveau donnée, ce qui tend ainsi à limiter la fatigue cognitive.
Selon un troisième aspect de l’invention, il est proposé un produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, comportant des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes d’un procédé selon le deuxième aspect de l’invention, ou l’un ou plusieurs de ses perfectionnements.
Description des figures
D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels :
La figure 1 représente schématiquement, un mode de réalisation d’un dispositif selon l’invention ;
La figure 2 représente schématiquement un détail de deux étapes d’un mode de réalisation d’un procédé selon l’invention. Description de mode de réalisation
Les modes de réalisation décrits ci-après n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure.
Bien entendu l'invention n'est pas limitée au(x) mode(s) de mise en œuvre décrit(s) et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications.
Sur les figures, un élément apparaissant sur plusieurs figures conserve la même référence.
En référence aux Figures 1 et 2, il est maintenant décrit en même temps un mode de réalisation d’un dispositif 1 selon l’invention et un procédé 100 d’indication d’informations sonores en réalité augmentée à un utilisateur.
Le dispositif 1 comporte :
- une centrale inertielle 2, dite de tête, agencée pour être portée au niveau de la tête de l’utilisateur ;
- un dispositif de capture d’image 201 agencé pour capturer des images et générer au moins une image capturée 202 ;
- un réseau de neurones 204 pour reconnaître un ou plusieurs objets 10 apparaissant dans l’image capturée 202 ;
- une centrale inertielle 3, dite de cou, agencée pour être portée au niveau du cou de l’utilisateur ;
- une unité centrale de traitement 4, ici un microprocesseur d’un smartphone, portée par l’utilisateur ;
- une unité d’écoute 5, qui dans le mode de réalisation particulier comporte un amplificateur 6 et des écouteurs 7 à conduction osseuse. Le procédé 100 comporte :
- une génération 102 de données d’orientation 8 relatives à la direction de la tête par la centrale inertielle 2 de tête,
- une capture 301 par le dispositif de capture d’image 201 de l’image capturée 202,
- une réception 302 par le réseau de neurones 204 de l’au moins une image capturée
202,
- une analyse 303 par le réseau de neurones 204 de l’au moins une image reçue pour reconnaître un ou plusieurs objets 10 apparaissant dans l’image,
- un placement 106 dans un espace virtuel, par l’unité centrale de traitement 4, d’une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus,
- une réception 108 des données d’orientation par l’unité centrale de traitement,
- une détermination 112, par l’unité centrale de traitement, d’un signal binaural 11 reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par les sources virtuelles, placées dans l’espace virtuel orienté à partir des données d’orientation reçues,
- une génération 104 de données d’orientation 9 par la centrale inertielle 3 de cou,
- une réception 110, par l’unité centrale de traitement 4, des données d’orientation 9,
- une détermination 112, par ladite unité centrale de traitement 4, d’un signal binaural 11 résultant d’une émission sonore par la source virtuelle 10, reçu au niveau des oreilles de l’utilisateur et à partir desdites données d’orientation reçues 8 et 9,
- une génération 114, par ladite unité centrale de traitement 4, d’un signal audio 12, comportant le signal binaural 11 déterminé,
- une amplification 116, par l’amplificateur 6, du signal audio 12 généré,
- une restitution 118, par les écouteurs 7, dudit signal audio amplifié.
Dans le mode de réalisation du dispositif 1 , l’unité de traitement 4 est en outre configurée pour générer le son binaural 11 à partir d’au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l’une et/ou deux des oreilles de l’utilisateur. Dans le mode de réalisation du dispositif 1 , l’unité de traitement 4 est en outre configurée pour déterminer un signal haptique à partir des données d’orientation. Le dispositif 1 comporte en outre des moyens de vibration (non représentés) et configurés pour générer ledit signal haptique.
Par exemple, il peut exister un vibrateur porté sur le côté gauche de l’utilisateur et un vibrateur porté sur le côté droit de l’utilisateur.
Lorsque la direction est situé plus à gauche que les données d’orientation, l’unité centrale peut être configurée pour mettre en vibration le vibrateur disposé du côté gauche de l’utilisateur.
Lorsque la direction est située plus à droite que les données d’orientation, l’unité centrale peut être configurée pour mettre en vibration le vibrateur disposé du côté droit de l’utilisateur.
En référence à la figure 2, il est maintenant décrit plus précisément les deux sous- étapes 102 et 104 de génération de données d’orientations 8 et 9 par la centrale inertielle 2 de tête et la centrale inertielle 3 de cou.
Les sous-étapes 102 et 104 de génération des données d’orientations 8 et 9 comprennent :
- une génération 102’ de données d’orientation 8’ par la centrale inertielle 2 de tête,
- une génération 104’ de données d’orientation 9’ par la centrale inertielle de cou,
- une synchronisation 120 de la boussole de la centrale inertielle 2 de tête et de la boussole de la centrale inertielle 3 de cou et une détermination d’un coefficient de rectification 13,
- une rectification 140, à partir coefficient de rectification 13, des données d’orientations 8’ générées par la centrale inertielle 2 de tête et des données d’orientations 9’ générées par la centrale inertielle 3 de cou, pour déterminer, respectivement, les données d’orientations 8 de la centrale inertielle 2 de tête et les données d’orientations 9 de la centrale inertielle 3 de cou.
Par ailleurs, le procédé peut comporter une étape de détermination d’une évolution de la position de l’utilisateur, et une modification du signal binaural déterminé en fonction de ladite évolution, la génération par l’unité centrale de traitement comportant le signal binaural déterminé modifié. Lorsque l’utilisateur se déplace entre une première et une deuxième position, il existe une différence entre un signal binaural SP1 résultant d’une émission sonore par ladite source virtuelle, reçu au niveau des oreilles de l’utilisateur et à partir desdites données d’orientation reçues au niveau de la première position, et un signal binaural SP2 résultant d’une émission sonore par ladite source virtuelle, reçu au niveau des oreilles de l’utilisateur et à partir desdites données d’orientation reçues au niveau de la deuxième position.
Toutefois, on comprend que si l’utilisateur ne se déplace que d’un mètre alors que le cap indiqué est virtuellement placé à 1 km de l’utilisateur, la différence entre le signal binaural SP1 et SP2 ne sera que très faible, et ne sera peut-être pas perceptible par tout utilisateur, surtout un utilisateur malentendant.
Pour améliorer le fonctionnement du dispositif, il est proposé de déformer le signal SP2 en fonction de l’évolution de la position de l’utilisateur.
Par exemple, si l’utilisateur se déplace d’un mètre selon la bonne direction, le signal SP2 sera modifié de sorte qu’il soit celui qui résulterait d’un déplacement correct de 10 mètres dans la bonne direction. Ceci peut être directement déterminé par l’unité centrale.
A contrario, si l’utilisateur se déplace d’un mètre selon la mauvaise direction, le signal SP2 sera modifié de sorte qu’il soit celui qui résulterait d’un déplacement incorrect de 10 mètres dans une mauvaise direction. Ceci peut être directement déterminé par l’unité centrale.
Ainsi, l’utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements.
Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.

Claims

Revendications
1. Dispositif (1 ) convenant à être porté par un utilisateur et agencé pour indiquer des informations sonores en réalité augmentée audit utilisateur, comportant :
o une centrale inertielle (2), dite de tête, agencée pour être portée par la tête dudit utilisateur et pour générer des données d’orientation (8) relatives à la direction de ladite tête ;
o un dispositif de capture d’image (201 ) agencé pour capturer des
images et générer au moins une image capturée (202),
o une unité centrale de traitement (4) configurée pour :
■ recevoir l’au moins une image capturée,
■ analyser ladite au moins une image capturée au moyen d’un réseau de neurones (204) pour reconnaître un ou plusieurs objets (10) apparaissant dans l’image,
■ générer un espace virtuel et y placer une ou plusieurs sources sonores virtuelles pour chacun desdits un ou plusieurs objets reconnus,
■ recevoir lesdites données d’orientation, et
■ déterminer un signal binaural (11 ) reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par ladite une ou plusieurs sources virtuelles placées dans l’espace virtuel orienté à partir desdites données d’orientation reçues,
■ générer un signal audio (12), comportant le signal binaural
déterminé,
o une unité d’écoute (5) agencée pour restituer le signal audio généré et destinée à être portée au moins en partie par ladite tête.
2. Dispositif selon la revendication précédente, dans lequel l’unité centrale de traitement est en outre configurée pour déterminer un signal haptique à partir des données d’orientation, le dispositif comportant en outre des moyens de vibration configurés pour générer ledit signal haptique.
3. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité centrale de traitement est en outre configurée pour déterminer une évolution de la position de l’utilisateur entre une première et une deuxième position, et pour déterminer un signal binaural modifié à partir de ladite évolution entre les deux positions, l’unité centrale de traitement étant en outre configurée pour générer le signal audio à partir du signal binaural déterminé modifié.
4. Dispositif selon la revendication précédente, dans laquelle le signal audio comprend en outre un signal d’indication de la proximité d’un objet d’intérêt avec un objet reconnu.
5. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité centrale (4) est en outre configurée pour déterminer des instructions vocales à partir des données d’orientation reçues (8) et des un ou plusieurs objets reconnus, et pour ajouter lesdites instructions vocales déterminées au signal audio (12).
6. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité d’écoute (5) comporte des écouteurs (7) à conduction osseuse.
7. Dispositif selon l’une quelconque des revendications précédentes de procédé, comportant en outre centrale inertielle (3), dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer des données d’orientations (9), la centrale inertielle (2) de tête étant en outre configurée pour générer des données d’orientation (8’) et la centrale inertielle de cou étant en outre configurée pour générer des données d’orientation (9’),
ladite unité centrale de traitement (4) étant en outre configurée pour :
- synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification (13),
- rectifier, à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations (8) de la centrale inertielle de tête et les données d’orientations (9) de la centrale inertielle de cou.
8. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité centrale de traitement (4) est agencée pour être portée par l’utilisateur.
9. Procédé (100) d’indication d’informations sonores en réalité augmentée à un utilisateur, comportant :
- une génération (102) de données d’orientation (8) par une centrale inertielle (2), dite de tête, agencée pour être portée par la tête de l’utilisateur et pour générer des données d’orientation relatives à la direction de ladite tête,
- une capture (301 ) par un dispositif de capture d’image (201 ) d’au moins une image capturée (202),
- une réception (302) par un réseau de neurones (204) de ladite au moins une image capturée,
- une analyse (303) par ledit réseau de neurones de ladite au moins une image reçue pour reconnaître un ou plusieurs objets (10) apparaissant dans l’image,
- un placement (106) dans un espace virtuel, par ladite unité centrale de traitement (4), d’une ou plusieurs sources sonores virtuelles pour chacun desdits un ou plusieurs objets reconnus,
- une réception (108) desdites données d’orientation par ladite unité centrale de traitement,
- une détermination (1 12), par ladite unité centrale de traitement, d’un signal binaural (1 1 ) reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par ladite une ou plusieurs sources virtuelles, placées dans l’espace virtuel orienté à partir desdites données d’orientation reçues,
- une génération (1 14), par ladite unité centrale de traitement, d’un signal audio (12), comportant le signal binaural déterminé,
- une restitution (1 18), par une unité d’écoute (5) destinée à être portée par ladite tête, dudit signal audio généré.
10. Procédé selon la revendication précédente, comportant en outre une détermination par l’unité centrale de traitement d’un signal haptique à partir des données d’orientation et une génération dudit signal haptique à partir de moyens de vibration.
1 1 . Procédé selon l’une quelconque des revendications précédentes de procédé, comportant en outre une détermination par l’unité centrale d’une évolution de la position de l’utilisateur entre une première et une deuxième position, et une modification par l’unité centrale du signal binaural déterminé à partir de ladite évolution entre les deux positions, la génération par l’unité centrale de traitement comportant le signal binaural déterminé modifié.
12. Procédé selon la revendication précédente, dans laquelle le signal binaural modifié est déterminé à partir d’une part du signal binaural déterminé dans la première position et d’autre part d’une amplification de l’évolution de la position de l’utilisateur entre les deux positions.
13. Procédé selon l’une quelconque des revendications précédentes de procédé,, dans lequel l’unité de traitement (4) est en outre configurée pour générer le son binaural (1 1 ) à partir d’au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l’une et/ou deux des oreilles de l’utilisateur.
14. Procédé selon l’une quelconque des revendications précédentes de procédé, mettant en outre en œuvre une centrale inertielle (3), dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer (104) des données d’orientations (9),
ledit procédé comportant en outre une génération (102’) de données d’orientation (8’) par la centrale inertielle (2) de tête et une génération (104’) de données d’orientation (9’) par la centrale inertielle de cou,
ladite unité centrale de traitement (4) étant en outre configurée pour :
- synchroniser (120) la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification (13),
- rectifier (140), à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations (8) de la centrale inertielle de tête et les données d’orientations (9) de la centrale inertielle de cou.
15. Procédé selon l’une quelconque des revendications précédentes de procédé, comportant en outre un ajout, par l’unité centrale, d’instructions vocales au signal audio.
16. Produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, comportant des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes d’un procédé selon l’une quelconque des revendications précédentes de procédé.
PCT/FR2019/050042 2018-01-12 2019-01-10 Dispositif et procede ameliores de communication d'informations sonores a un utilisateur en realite augmentee Ceased WO2019138186A1 (fr)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR1850271 2018-01-12
FR1850271A FR3076709B1 (fr) 2018-01-12 2018-01-12 Dispositif et procede de communication d'informations sonores a un utilisateur en realite augmentee
FR1872680A FR3076927B1 (fr) 2018-01-12 2018-12-11 Dispositif et procédé améliorés de communication d’informations sonores à un utilisateur en réalité augmentée
FR1872680 2018-12-11

Publications (1)

Publication Number Publication Date
WO2019138186A1 true WO2019138186A1 (fr) 2019-07-18

Family

ID=65278395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/050042 Ceased WO2019138186A1 (fr) 2018-01-12 2019-01-10 Dispositif et procede ameliores de communication d'informations sonores a un utilisateur en realite augmentee

Country Status (1)

Country Link
WO (1) WO2019138186A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220191638A1 (en) * 2020-12-16 2022-06-16 Nvidia Corporation Visually tracked spatial audio

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034959A2 (fr) * 2001-10-26 2003-05-01 Universite De Technologie De Compiegne Procede permettant a au moins un utilisateur, notamment un utilisateur aveugle, de percevoir une forme et dispositif pour la mise en oeuvre du procede
WO2011106520A1 (fr) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Panorama en réalité augmentée prenant en charge des individus souffrant d'une déficience visuelle
US20140267642A1 (en) * 2013-03-15 2014-09-18 Orcam Technologies Ltd. Systems and methods for audible facial recognition
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034959A2 (fr) * 2001-10-26 2003-05-01 Universite De Technologie De Compiegne Procede permettant a au moins un utilisateur, notamment un utilisateur aveugle, de percevoir une forme et dispositif pour la mise en oeuvre du procede
WO2011106520A1 (fr) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Panorama en réalité augmentée prenant en charge des individus souffrant d'une déficience visuelle
US20140267642A1 (en) * 2013-03-15 2014-09-18 Orcam Technologies Ltd. Systems and methods for audible facial recognition
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220191638A1 (en) * 2020-12-16 2022-06-16 Nvidia Corporation Visually tracked spatial audio
CN114708296A (zh) * 2020-12-16 2022-07-05 辉达公司 视觉跟踪空间音频

Similar Documents

Publication Publication Date Title
FR3059191B1 (fr) Dispositif a casque audio perfectionne
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
US12069469B2 (en) Head dimension estimation for spatial audio applications
US9774978B2 (en) Position determination apparatus, audio apparatus, position determination method, and program
CN110556127A (zh) 语音识别结果的检测方法、装置、设备及介质
CN108335703B (zh) 确定音频数据的重音位置的方法和装置
US10970868B2 (en) Computer-implemented tools and methods for determining optimal ear tip fitment
JP7692879B2 (ja) 頭部伝達関数を生成するシステム及び方法
EP3575993A1 (fr) Procédé et système de validation d'identification en direct à distance par l'intermédiaire d'enregistrement vidéo
CN110958465A (zh) 视频流推送方法、装置及存储介质
CN110837557B (zh) 摘要生成方法、装置、设备及介质
US20200396558A1 (en) Compensating for effects of headset on head related transfer functions
CN112165575A (zh) 图像虚化处理方法及装置、存储介质和电子设备
CN110660398A (zh) 声纹特征更新方法、装置、计算机设备及存储介质
CN108965702B (zh) 一种拍摄引导方法及可穿戴设备
CN112614507B (zh) 检测噪声的方法和装置
WO2019138186A1 (fr) Dispositif et procede ameliores de communication d'informations sonores a un utilisateur en realite augmentee
EP3412036A1 (fr) Procédé d'aide au suivi d'une conversation pour personne malentendante
FR3076927A1 (fr) Dispositif et procédé améliorés de communication d’informations sonores à un utilisateur en réalité augmentée
EP3149968B1 (fr) Procédé d'aide au suivi d'une conversation pour personne malentendante
EP4349006A1 (fr) Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations
WO2019026598A1 (fr) Dispositif de traitement d'image, procédé de traitement d'image, programme, et système de communication à distance
CN118538240A (zh) 音频录制方法、装置、设备及存储介质
WO2019138187A1 (fr) Procede et dispositif ameliores pour indiquer un cap c a un utilisateur
FR3102925A1 (fr) Dispositif de test audiometrique

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19703161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19703161

Country of ref document: EP

Kind code of ref document: A1