[go: up one dir, main page]

EP3381204A1 - Procede et dispositif pour estimer la reverberation acoustique - Google Patents

Procede et dispositif pour estimer la reverberation acoustique

Info

Publication number
EP3381204A1
EP3381204A1 EP16819332.4A EP16819332A EP3381204A1 EP 3381204 A1 EP3381204 A1 EP 3381204A1 EP 16819332 A EP16819332 A EP 16819332A EP 3381204 A1 EP3381204 A1 EP 3381204A1
Authority
EP
European Patent Office
Prior art keywords
characteristic
reverberation
acoustic
medium
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP16819332.4A
Other languages
German (de)
English (en)
Other versions
EP3381204B1 (fr
Inventor
Arthur BELHOMME
Yves Grenier
Roland Badeau
Eric Humbert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Invoxia SAS
Original Assignee
Invoxia SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Invoxia SAS filed Critical Invoxia SAS
Publication of EP3381204A1 publication Critical patent/EP3381204A1/fr
Application granted granted Critical
Publication of EP3381204B1 publication Critical patent/EP3381204B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to methods and devices for estimating acoustic reverberation.
  • Estimating the acoustic reverberation of a medium is essential for capturing acoustic signals such as speech in a reverberant medium such as, for example, a room in a building.
  • the microphone When a sound is emitted and picked up by a microphone in a reverberant environment, the microphone picks up not only the received signal directly, but also reverberant signals in the medium.
  • This reverberation is reflected by the impulse response of the medium, from which various known parameters, including the reverberation time, flow.
  • the impulse response can be measured directly by emitting an acoustic pulse in the medium, but this method is cumbersome and difficult to envisage for performing repeated measurements while one or more speakers are speaking in the room.
  • the reverberation time can be estimated blindly, for example while one or more speakers are speaking.
  • the most common parameter used to represent the reverberation time is the 60 dB RT 60 reverberation time.
  • the document US2014169575 describes a method for blind estimation of the reverberation time in a room.
  • the reverb time is not representative of the distance between the transmitter and the microphone, which however has a significant impact on the reverb level.
  • the aforementioned known methods of the type do not therefore make it possible to process the acoustic signals sensed satisfactorily.
  • the present invention therefore aims to provide a method for estimating acoustic reverberation, which avoids this disadvantage.
  • the invention proposes a method for estimating acoustic reverberation in a medium, comprising the following steps:
  • step (b) an observation step during which an acoustic energy decay rate distribution is determined from the acoustic signal picked up in step (a) and the characteristic function of the decay rate distribution is determined acoustic energy
  • step (c) an estimation step in which a characteristic reverberation time and a characteristic reverberation level of the sound in the medium are estimated from data representative of the acoustic energy decay rate distribution determined at step (b), the regression being made with reference to:
  • a kernel function estimator is used and the characteristic reverberation time and the characteristic reverberation level are simultaneously determined;
  • a Nadaraya-Watson estimator is used during the estimation step (c).
  • the reverberation level characteristic of the sound in the medium (7) is chosen from the clarity index C T and the definition index D T ;
  • the method further comprises a preliminary calibration phase comprising the following steps: (a ') at least one initial step of determination of reference signals in which one determines a plurality of reference acoustic signals corresponding to said reference characteristic reverberation times and said reference characteristic reverberation levels,
  • At least a portion of the reference acoustic signals and the characteristic reverberation times and reference characteristic reverberation levels corresponding to said reference acoustic signals are determined by calculation from a predetermined set of impulse responses;
  • At least a portion of the reference acoustic signals, the characteristic reverberation times and the reference characteristic reverberation levels corresponding to said reference acoustic signals are determined by measurement.
  • the invention also relates to a device for estimating acoustic reverberation in a medium, comprising:
  • (c) means for estimating a reverberation time characteristic and a reverberation level characteristic of sound in the medium from data representative of the acoustic energy decay rate distribution, the regression being made with reference to:
  • FIG. 1 is a diagrammatic view illustrating the reverberation of the sound in a room when a subject speaks so that his words are picked up by a device according to one embodiment of the invention
  • FIG. 2 is a schematic diagram of the device of Figure 1.
  • the aim of the invention is to estimate the acoustic reverberation of a medium 7, for example a room in a building as shown diagrammatically in FIG. 1, so as to process the acoustic signals picked up by a device
  • An electronic device 1 may be, for example, a telephone in the example shown, or a computer or the like.
  • the electronic device 1 may comprise, for example, an electronic central unit 8 such as a processor or the like, connected to the microphone 2 and to various other elements, including for example a loudspeaker 9, a keyboard 10 , a screen 11.
  • the electronic central unit 8 can communicate with an external network 12, for example a telephone network.
  • the invention enables the electronic device 1 to measure blindly two characteristic parameters of the reverberation of the medium 7:
  • reverberation time characteristic such as reverberation time 60 dB R go?
  • a characteristic reverberation level for example clarity or definition index, or direct signal index on reverberated signal.
  • These parameters can be used to suppress the echo effects or more generally to optimize the sound signals picked up by the microphone 2.
  • the parameters in question are estimated in a repetitive manner, so that the device 1 adapts for example to changes of speakers 3, to displacements of speakers 3, to movements of the device 1 or other objects in the medium 7.
  • the reverberation time at 60dB RT 60 can be defined by the inverse integration method of Manfred R. Schroeder (New Method of Measuring Reverberation Time, The Journal of the Acoustical Society of Ameri.ca, 37 (3): 409, 1965) by the EDC Energy Decay Curve:
  • n - h is the impulse response of the medium of length N h
  • n is a time index, for example a number of samples obtained by a sampling of constant time steps, n being between 1 and N h .
  • R 60 is the time at the time index n required for EDC (n) to decrease by 60 dB.
  • reverberation time R 6 o is the most commonly used, we could estimate another reverberation time characteristic of the medium 7.
  • - ⁇ ⁇ is the number of samples with constant time steps corresponding to the time ⁇ , generally between 0.1 ms and 1 s,
  • n is a time index between 1 and ⁇ ⁇ , representative of a number of samples of constant time step
  • h (n) is the impulse response of medium 7.
  • indices have been described in particular by PA Naylor and ND Gaubitch (Speech Dereverberation, Springer, eds edition, 2010).
  • the two most commonly used values of ⁇ are 50 ms and 80 ms, in particular 50 ms (indices C 5 o and D 50 ), but other durations are possible and more generally other indices reflecting the ratio of the direct sound to the its reverberation could be estimated in the method according to the invention, implemented for example by the aforementioned electronic central unit 8.
  • This process comprises the following steps:
  • step (b) an observation step during which an acoustic energy decay rate distribution is determined from the acoustic signals measured in step (a),
  • step (c) an estimation step in which it is estimated, by regression from the sound energy decay rate distribution determined in step (b), a characteristic reverberation time and a characteristic reverberation level sound in the middle 7.
  • the microphone 2 captures "blind" (that is to say, without prior knowledge of the signals transmitted), an acoustic signal broadcast in the medium 7, for example when the speaker 3 speaks. This signal is sampled and stored in processor 8 or an ancillary memory (not shown).
  • an acoustic energy decay rate distribution is determined from the acoustic signal measured in step (a).
  • a total energy of the frame m can be calculated by the formula:
  • a s and ⁇ h are respectively the rate of energy decay of the emitted anechoic signal and medium 7 (the signal picked up is a convolution of the anechoic signal emitted
  • n the temporal index defined above
  • the calculation of p (m) can typically be done on a number M of frames of at least 2000, corresponding to at least 1 min of signal according to the selected analysis parameters.
  • the frames can have an individual duration of 10 to 100 ms, in particular of the order of 32 ms.
  • the frames may overlap each other, for example with a recovery rate of the order of 50% between successive frames.
  • Different values of the energy decay rate p (m) are thus obtained, which have a certain statistical distribution (number of embodiments or probability of realization as a function of the energy decay rate p (m), as explained, for example, in the article by Wen et al., above).
  • X is here the aforementioned energy decay rate p (m) estimated for various values of m (formula (5)), F x the cumulative distribution of X and f is a dimensionless variable generally referred to as angular frequency.
  • the characteristic function can be calculated for angular frequencies f ranging, for example, from 0 to 0.4, in increments of 0.001.
  • p can be for example between 256 and 2048. Since the characteristic function is a complex number, it can be represented by a vector of X belonging to R p constituting the random input vector x of the estimator used.
  • the random output vector y of the estimator, belonging to R 2 has as component the two estimated parameters, for example (RT 60 , C 5 o) or (RT 6 o, D 5 o) ⁇
  • the estimator used may advantageously be a kernel function estimator, for example a Nadaraya-Watson estimator.
  • a kernel function estimator for example a Nadaraya-Watson estimator.
  • Such an estimator has the advantage of simultaneously determining the characteristic reverberation time and the characteristic reverberation level.
  • the estimator in question can be determined in advance in an initial calibration phase, where at least one initial step of determination of reference signals (a ') and at least one initial observation step (b') is implemented.
  • a plurality of reference acoustic signals and reference characteristic reverberation times and corresponding reference characteristic reverb levels are determined.
  • the acoustic energy decay rate distribution and the reference characteristic function for each reference acoustic signal are determined identically or similarly to the observation step ( (b) above.
  • the acoustic reference signals are generally vocal signals of the number of N and correspond to N cases of different figures (different speakers, different positions, different media 7). N can be several hundred or even thousands.
  • the initial step of determining reference signals can be performed:
  • the characteristic reverberation time and the characteristic reverberation level can also be measured
  • the aforementioned synthetic acoustic signals can be calculated by convolving pre-recorded impulse responses with pre-recorded speech anechoic signals from different speakers.
  • the prerecorded impulse responses may for example come from impulse response databases, for example from open access databases such as Aachen Impulse Response databases.
  • Anechoic speech signals may be signals recorded from various speakers, for example example of different ages and sexes, with for example recording times for example of a few minutes, for example of the order of 5 minutes.
  • the energy decay rate distributions can for example be calculated over frames of 10 to 100 ms, in particular of the order of 32 ms.
  • the frames may overlap each other, for example with a recovery rate of the order of 50% between successive frames.
  • the characteristic functions can be calculated for angular frequencies ranging for example from 0 to 0.4, in increments of 0.001.
  • the kernel function K ⁇ (x, x ⁇ ) is a function of x and Xi as defined in particular by Scholkopf et al. (B. Scholkpf eand AJ Smola, Learning with Kernels, MIT Press, Cambridge, MA, 2001).

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

Procédé pour estimer la réverbération acoustique dans un milieu (7), comprenant les étapes suivantes : (a) une étape de mesure dans laquelle on capte un signal acoustique émis dans le milieu, (a) une étape de détermination de distribution de taux de décroissance d'énergie acoustique, au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté à l'étape (a), (c) une étape d'estimation au cours de laquelle on estime, par régression à partir de fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique déterminé à l'étape (b), un temps de réverbération et un niveau de réverbération du son dans le milieu.

Description

Procédé et dispositif pour estimer la réverbération
acoustique DOMAINE DE L'INVENTION
La présente invention est relative aux procédés et dispositifs pour estimer la réverbération acoustique.
ARRIERE PLAN DE L'INVENTION
L'estimation de la réverbération acoustique d'un milieu est essentielle pour capter des signaux acoustiques tels que la parole dans un milieu réverbérant tel que par exemple une pièce dans un bâtiment.
Lorsqu'un son est émis puis capté par un microphone dans un milieu réverbérant, le microphone capte non seulement le signal reçu directement, mais également des signaux réverbérés dans le milieu.
Cette réverbération est reflétée par la réponse impulsionnelle du milieu, dont découlent divers paramètres connus, notamment le temps de réverbération. La réponse impulsionnelle est mesurable directement en émettant une impulsion acoustique dans le milieu, mais cette méthode est lourde et difficilement envisageable pour effectuer des mesures répétées pendant qu'un ou des locuteurs parlent dans la pièce.
Le temps de réverbération peut être estimé à l'aveugle, par exemple pendant qu'un ou des locuteurs parlent. Le paramètre le plus couramment utilisé pour représenter le temps de réverbération est le temps de réverbération à 60 dB RT60.
A titre d'exemple, le document US2014169575 décrit un procédé d'estimation à l'aveugle du temps de réverbération dans une pièce.
Toutefois, le temps de réverbération n'est pas représentatif de la distance entre l'émetteur et le microphone, qui pourtant a un impact important sur le niveau de réverbération. Les procédés connus du type susmentionnés ne permettent donc pas de traiter les signaux acoustiques captés de façon satisfaisante.
OBJETS ET RESUME DE L'INVENTION
La présente invention a donc pour objet de proposer un procédé pour estimer la réverbération acoustique, qui permette d'éviter cet inconvénient.
A cet effet, l'invention propose un procédé pour estimer la réverbération acoustique dans un milieu, comprenant les étapes suivantes :
(a) une étape de mesure dans laquelle on capte au moins un signal acoustique dans le milieu,
(b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté à l'étape (a) et on détermine la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
(c) une étape d'estimation au cours de laquelle on estime un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique déterminée à l'étape (b) , la régression étant faite en référence à :
des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
- et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
Grâce à ces dispositions, et notamment grâce au fait que l'on applique la méthode d'estimation à la distribution de taux de décroissance d'énergie acoustique, on peut déterminer à la fois un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu, de façon fiable. Ces deux paramètres permettent de traiter de façon satisfaisante les signaux sonores captés.
Dans divers modes de réalisation du procédé selon l'invention, on peut éventuellement avoir recours en outre à l'une et/ou à l'autre des dispositions suivantes :
au cours de l'étape d'estimation (c), on utilise un estimateur à fonction noyau et on détermine simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique ;
au cours de l'étape d'estimation (c), on utilise un estimateur de Nadaraya-Watson ;
au cours de l'étape d'estimation (c) , le niveau de réverbération caractéristique du son dans le milieu (7) est choisi parmi l'indice de clarté CT et l'indice de définition DT ;
au cours de l'étape d'observation (b) , on détermine les taux de décroissance d'énergie en calculant l'énergie Em du signal acoustique sur des trames successives m de signal, puis en calculant un rapport logarithmique entre l'énergie de deux trames successives : p(m) = log(-^-) (5) ;
m-l
le procédé comporte en outre une phase préliminaire de calibrage comprenant les étapes suivantes : (a') au moins une étape initiale de détermination de signaux de référence dans laquelle on détermine une pluralité de signaux acoustiques de référence correspondant auxdits temps de réverbération caractéristiques de référence et auxdits niveaux de réverbération caractéristiques de référence,
(b') au moins une étape initiale d'observation au cours de laquelle, pour chaque signal acoustique de référence, on détermine une distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence ;
au cours de ladite étape de détermination de signaux de référence, on détermine par calcul au moins une partie des signaux acoustiques de référence et les temps de réverbération caractéristiques et niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence, à partir d'un ensemble prédéterminé de réponses impulsionnelles ;
au cours de ladite étape de détermination de signaux de référence, on détermine par mesure au moins une partie des signaux acoustiques de référence, les temps de réverbération caractéristiques et les niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence.
Par ailleurs, l'invention a également pour objet un dispositif pour estimer la réverbération acoustique dans un milieu, comprenant :
(a) des moyens de mesure pour capter au moins un signal acoustique émis dans le milieu,
(b) des moyens pour déterminer une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté par les moyens de mesure, et pour déterminer la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
(c) des moyens pour estimer un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique, la régression étant faite en référence à :
des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
- et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
BREVE DESCRIPTION DES DESSINS
D'autres caractéristiques et avantages de l'invention apparaîtront au cours de la description suivante d'un de ses modes de réalisation, donné à titre d'exemple non limitatif, en regard des dessins joints.
Sur les dessins :
- la figure 1 est une vue schématique illustrant la réverbération du son dans une pièce lorsqu'un sujet parle de façon que ses paroles soient captées par un dispositif selon une forme de réalisation de l'invention, la figure 2 est un schéma de principe du dispositif de la figure 1.
DESCRIPTION PLUS DETAILLEE
Sur les différentes figures, les mêmes références désignent des éléments identiques ou similaires.
L'invention a pour but d'estimer la réverbération acoustique d'un milieu 7, par exemple une pièce dans un bâtiment telle que schématisée sur la figure 1, de façon à traiter les signaux acoustiques captés par un dispositif électronique 1 pourvu d'un microphone 2. Le dispositif électronique 1 peut être par exemple un téléphone dans l'exemple représenté, ou un ordinateur ou autre.
Lorsqu'un son est émis dans le milieu 7, par exemple par une personne 3, ce son se propage jusqu'au microphone 2 selon divers trajets 4, soit directs, soit après réflexion sur une ou plusieurs parois 5, 6 du milieu 7.
Comme représenté sur la figure 2, le dispositif électronique 1 peut comporter par exemple une unité centrale électronique 8 telle qu'un processeur ou autre, reliée au microphone 2 et à divers autre éléments, incluant par exemple un haut-parleur 9, un clavier 10, un écran 11. L'unité centrale électronique 8 peut communiquer avec un réseau externe 12, par exemple un réseau téléphonique.
L'invention permet au dispositif électronique 1 de mesurer à l'aveugle, deux paramètres caractéristiques de la réverbération du milieu 7 :
- un temps de réverbération caractéristique, par exemple le temps de réverbération à 60 dB R go?
- et un niveau de réverbération caractéristique (par exemple indice de clarté ou de définition, ou indice de signal direct sur signal réverbéré) .
Ces paramètres peuvent être utilisés pour supprimer les effets d'échos ou plus généralement pour optimiser les signaux sonores captés par le microphone 2. Les paramètres en question sont estimés de façon répétitive, de façon que le dispositif 1 s'adapte par exemple à des changements de locuteurs 3, à des déplacements de locuteurs 3, à des déplacements du dispositif 1 ou d'autres objets dans le milieu 7.
Le temps de réverbération à 60dB RT60 peut être défini par la méthode d'intégration inverse de Manfred R. Schroeder (New Method of Measuring Réverbération Time, The Journal of the Acoustical Society of Ameri.ca, 37(3) :409, 1965) par la courbe de décroissance d'énergie (Energy Decay Curve) EDC :
Où :
- h est la réponse impulsionnelle du milieu de longueur Nh, n est un indice temporel, par exemple un nombre d'échantillons obtenus par un échantillonnage de pas temporel constant, n étant compris entre 1 et Nh.
RÎ60 est le temps à l'indice temporel n requis pour que EDC(n) diminue de 60 dB .
Bien que le temps de réverbération RÎ6o soit le plus couramment utilisé, on pourrait estimer un autre temps de réverbération caractéristique du milieu 7.
Le niveau de réverbération est le plus couramment représenté par l'indice de clarté : c' = 1G1*(¾ )dB- <2 >
ou par l'indice de définition : Dt = 10log10(|| f)dB, (3)
où :
- Ντ est le nombre d'échantillons à pas temporels constant correspondant au temps τ, généralement compris entre 0.1 ms et 1 s ,
- n est un indice temporel compris entre 1 et et Ντ, représentatif d'un nombre d'échantillons de pas temporel constant ,
- h(n) est la réponse impulsionnelle du milieu 7.
Ces indices ont été décrits notamment par P. A. Naylor et N. D. Gaubitch (Speech Dereverberation, Springer, eds édition, 2010) . Les deux valeurs les plus couramment utilisées de τ sont 50 ms et 80 ms, notamment 50 ms (indices C5o et D50), mais d'autres durées sont possibles et plus généralement d'autres indices reflétant le rapport du son direct au son réverbéré pourraient être estimés dans le procédé selon l'invention, mis en œuvre par exemple par l'unité centrale électronique 8 susmentionnée.
Ce procédé comporte les étapes suivantes :
(a) une étape de mesure de signal acoustique,
(b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir des signaux acoustiques mesurés à l'étape (a),
(c) une étape d'estimation au cours de laquelle on estime, par régression à partir de la distribution de taux de décroissance d'énergie acoustique déterminée à l'étape (b) , un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu 7.
(a) Etape de mesure :
Au cours de cette étape, le microphone 2 capte « à l'aveugle » (c'est-à-dire sans connaissance préalable des signaux émis), un signal acoustique diffusé dans le milieu 7, par exemple lorsque le locuteur 3 parle. Ce signal est échantillonné et stocké dans le processeur 8 ou une mémoire annexe (non représentée) .
(b) Etape d' observation :
Au cours de cette étape, on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique mesuré à l'étape (a) .
Pour cela, on détermine d'abord l'enveloppe d'énergie du signal réverbéré dx(n) telle que décrit notamment par Wen et al. (J.Y.C. Wen, E.A.P. Habets, and P. A. Naylor, Blind estimation of réverbération time based on the distribution of signal decay rates, Acoustics, Speech. and Signal Processing, 2008, ICASSP 2008, IEEE International Conférence pages 329-332, Mars 2008).
En faisant un calcul sur des trames de Νω échantillons de signal séparées par des sauts de R échantillons de signal, on peut calculer une énergie totale de la trame m par la formule :
et ensuite estimer le taux de décroissance d'énergie en calculant le rapport logarithmique entre deux trames successives :
λχ « p(m) = log(^-). (5)
En effet, l'enveloppe d'énergie dx(n) peut être exprimée par la formule : dx(n) ={y 2 ί (6)
ne hns si Àh = Às
où Às and Àh sont respectivement le taux de décroissance d'énergie du signal anéchoïque émis et du milieu 7 (le signal capté est une convolution du signal anéchoïque émis
(parole) avec la réponse impulsionnelle du milieu entre le locuteur 3 et le microphone 2, n étant l'indice temporel défini précédemment) .
Comme la somme est dominée par le terme exponentiel correspondant à la plus grande valeur de λ, le taux de décroissance d'énergie du signal réverbéré λχ peut être approximé par :
λχ ~ max[Ah,As] (7),
ce qui justifie la formule (5) ci-dessus.
Le calcul de p(m) peut typiquement être fait sur un nombre M de trames d'au moins 2000, correspondant à au moins 1 mn de signal selon les paramètres d'analyse choisis. Les trames peuvent avoir une durée individuelle de 10 à 100 ms, notamment de l'ordre de 32 ms . Les trames peuvent se recouvrir mutuellement, par exemple avec un taux de recouvrement de l'ordre de 50 % entre trames successives . On obtient ainsi différentes valeurs du taux de décroissance d'énergie p(m), qui présentent une certaine distribution statistique (nombre de réalisations ou probabilité de réalisation en fonction du taux de décroissance d'énergie p(m), comme explicité par exemple dans l'article de Wen et al. ci-dessus) .
On détermine ensuite la fonction caractéristique de la distribution de taux de décroissance d'énergie, par la formule suivante (voir Audrey Feuerverger et Roman A. Mureika [The empirical characterist ic fonction and its applications, Ann . Statist., 5(l) :88-97, 01 1977]) :
Φχ(Π = / elfxdFx{x = E[e^] (8)
où X représente ici le taux de décroissance d'énergie p(m) susmentionné estimé pour diverses valeurs de m (formule (5)), Fx la distribution cumulée de X et f est une variable sans dimension généralement appelée fréquence angulaire.
La fonction caractéristique peut être calculée pour des fréquences angulaires f allant par exemple de 0 à 0,4, par incrément de 0,001.
(c) Etape d'estimation :
On part de la fonction caractéristique Φρ (f ) , calculée pour p/2 fréquences f (p étant un entier naturel pair) , la gamme de fréquences f et leur échantillonnage étant prévus pour que I Φρ (m) ( f ) I soit compris préfèrent iellement entre 0.1 et 1.
Typiquement, p peut être compris par exemple entre 256 et 2048. La fonction caractéristique étant un nombre complexe, elle peut être représentée par un vecteur de X appartenant à Rp, constituant le vecteur d'entrée aléatoire x de l'estimateur utilisé. Le vecteur de sortie aléatoire y de l'estimateur, appartenant à R2 , a pour composante les deux paramètres estimés, par exemple (RT60,C5o) ou (RT6o,D5o) ·
L'estimateur utilisé peut être avantageusement un estimateur à fonction noyau, par exemple un estimateur de Nadaraya-Watson . Un tel estimateur présente l'avantage de déterminer simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique .
L'estimateur en question peut être déterminé préalablement dans une phase initiale de calibrage, où on met en œuvre au moins une étape initiale de détermination de signaux de référence (a') et au moins une étape initiale d'observation (b').
Au cours de l'étape initiale de détermination de signaux de référence, on détermine une pluralité de signaux acoustiques de référence et des temps de réverbération caractéristiques de référence et niveaux de réverbération caractéristiques de référence correspondants.
Au cours de l'étape initiale d'observation, on détermine la distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence pour chaque signal acoustique de référence, de façon identique ou similaire à l'étape de d'observation (b) susmentionnée.
Les signaux acoustiques de référence sont des signaux généralement vocaux au nombre de N et correspondent à N cas de figures différents (locuteurs différents, positions différentes, milieux 7 différents) . N peut être de plusieurs centaines, voire plusieurs milliers. L'étape initiale de détermination de signaux de référence peut être effectuée :
avec des mesures réelles nouvelles effectuées par exemple avec un dispositif électronique 1 d'un modèle déterminé (dans ce cas, le temps de réverbération caractéristique et le niveau de réverbération caractéristique peuvent être également mesurés) ;
et / ou avec des signaux acoustiques synthétiques .
Dans le cas des mesures réelles, celles-ci-ne seront généralement pas faites dans le milieu 7 particulier ou le dispositif électronique 1 sera utilisé, bien que ce cas de figure puisse être envisagé.
Les signaux acoustiques synthétiques susmentionnés peuvent être calculés en convoluant des réponses impulsionnelles préenregistrées avec des signaux anéchoïques de parole également préenregistrés provenant de locuteurs différents. Les réponses impulsionnelles préenregistrées peuvent par exemple provenir de bases de données de réponses impulsionnelles, par exemple provenant de bases de données en accès libre telles que les bases de données Aachen Impulse Response
(http://www.openairlib.net/auralization .db), MARDY (Wen et al., Evaluation of speech dereverberation algorithms using the Mardy database, Sept. IWAENC 2006, Paris), QueenMary (R. Stewart and M. Sandler, Database of omnidirectional and b-format room impulse responses, In Acoustics Speech and Signal Processing (ICASSP) . 2010 IEEE International Conférence on., pages 165-168, March 2010), par exemple avec des temps de réverbération RT60 allant de 0.3 s à 8 s and des indices de clarté C5o from -10 dB à 25 dB . Les signaux anéchoïques de parole peuvent être des signaux enregistrés à partir de locuteurs divers, par exemple d'âges et sexes différents, avec par exemple des durées d'enregistrement par exemple de quelques minutes, par exemple de l'ordre de 5 minutes.
Les distributions de taux de décroissance d'énergie peuvent par exemple être calculées sur des trames de 10 à 100 ms, notamment de l'ordre de 32 ms . Les trames peuvent se recouvrir mutuellement, par exemple avec un taux de recouvrement de l'ordre de 50 % entre trames successives. Les fonctions caractéristiques peuvent être calculées pour des fréquences angulaires allant par exemple de 0 à 0,4, par incrément de 0,001.
On obtient ainsi N réalisations des vecteurs x et y susmentionnés, et l'estimateur de Nadaraya-Watson peut alors rminé par la formule :
où :
- xi, yi, i = 1 à N, sont les N réalisations des vecteurs x, y utilisées pour l'étape de calibration,
- Κλ(χ, Xi) est une fonction noyau (kernel) de fenêtre λ (λ est une constante également appelée paramètre de lissage) ,
- x est le vecteur d'entrée inconnu (mesure effectuée à l'étape de mesure (a) en vue d'estimer le vecteur y par la formule = /(*)).
La fonction noyau K\(x, x±) est une fonction de x et Xi telle que définie notamment par Scholkopf et al. (B. Scholkpf eand A. J. Smola, Learning with Kernels, MIT Press, Cambridge, MA, 2001) .
On peut notamment utiliser un noyau gaussien, par exemple avec une fenêtre de λ = 5.10-4 (exemple non limitatif) :
Les tests effectués montrent que le procédé de l'invention est plus précis que les procédés de l'art antérieur pour la détermination du temps de réverbération, et il permet en outre de déterminer le niveau de réverbération en même temps que le temps de réverbération, ce qui est un gain important.

Claims

REVENDICATIONS
1. Procédé pour estimer la réverbération acoustique dans un milieu (7), comprenant les étapes suivantes :
(a) une étape de mesure dans laquelle on capte au moins un signal acoustique émis dans le milieu (7),
(b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique mesuré à l'étape (a) et on détermine la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
(c) une étape d'estimation au cours de laquelle on estime, par régression un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu (7) à partir de ladite fonction caractéristique déterminée à l'étape (b) , la régression étant faite en référence à :
des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
- et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
2. Procédé selon la revendication 1, dans lequel, au cours de l'étape d'estimation (c) , on utilise un estimateur à fonction noyau et on détermine simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique.
3. Procédé selon la revendication 2, dans lequel, au cours de l'étape d'estimation (c) , on utilise un estimateur de Nadaraya-Watson .
4. Procédé selon l'une quelconque des revendications précédentes, dans lequel, au cours de l'étape d'estimation (c) , le niveau de réverbération caractéristique du son dans le milieu (7) est choisi parmi l'indice de clarté CT et l'indice de définition DT .
5. Procédé selon l'une quelconque des revendications précédentes, dans lequel au cours de l'étape d'observation (b) , on détermine les taux de décroissance d'énergie en calculant l'énergie Em du signal acoustique sur des trames successives m de signal, puis en calculant un rapport logarithmique entre l'énergie de deux trames successives : p(m) = log(^2-) (5).
6. Procédé selon l'une quelconque des revendications précédentes, comportant en outre une phase préliminaire de calibrage comprenant les étapes suivantes : (a') au moins une étape initiale de détermination de signaux de référence dans laquelle on détermine une pluralité de signaux acoustiques de référence correspondant auxdits temps de réverbération caractéristiques de référence et auxdits niveaux de réverbération caractéristiques de référence,
(b') au moins une étape initiale d'observation au cours de laquelle, pour chaque signal acoustique de référence, on détermine une distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence.
7. Procédé selon la revendication 6, dans lequel au cours de ladite étape de détermination de signaux de référence, on détermine par calcul au moins une partie des signaux acoustiques de référence et les temps de réverbération caractéristiques et niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence, à partir d'un ensemble prédéterminé de réponses impulsionnelles .
8. Procédé selon la revendication 6, dans lequel au cours de ladite étape de détermination de signaux de référence, on détermine par mesure au moins une partie des signaux acoustiques de référence, les temps de réverbération caractéristiques et les niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence.
9. Dispositif pour estimer la réverbération acoustique dans un milieu (7), comprenant :
(a) des moyens de mesure (2) pour capter au moins un signal acoustique émis dans le milieu (7),
(b) des moyens (8) pour déterminer une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté par les moyens de mesure, et pour déterminer la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
(c) des moyens (8) pour estimer un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique, la régression étant faite en référence à :
des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence, - et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
EP16819332.4A 2015-11-26 2016-11-21 Procede et dispositif pour estimer la reverberation acoustique Active EP3381204B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1561404A FR3044509B1 (fr) 2015-11-26 2015-11-26 Procede et dispositif pour estimer la reverberation acoustique
PCT/FR2016/053034 WO2017089688A1 (fr) 2015-11-26 2016-11-21 Procede et dispositif pour estimer la reverberation acoustique

Publications (2)

Publication Number Publication Date
EP3381204A1 true EP3381204A1 (fr) 2018-10-03
EP3381204B1 EP3381204B1 (fr) 2019-11-13

Family

ID=55236682

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16819332.4A Active EP3381204B1 (fr) 2015-11-26 2016-11-21 Procede et dispositif pour estimer la reverberation acoustique

Country Status (4)

Country Link
US (1) US10313809B2 (fr)
EP (1) EP3381204B1 (fr)
FR (1) FR3044509B1 (fr)
WO (1) WO2017089688A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115175064A (zh) 2017-10-17 2022-10-11 奇跃公司 混合现实空间音频
CN109754821B (zh) * 2017-11-07 2023-05-02 北京京东尚科信息技术有限公司 信息处理方法及其系统、计算机系统和计算机可读介质
EP3753238A4 (fr) 2018-02-15 2021-04-07 Magic Leap, Inc. Réverbération virtuelle de réalité mixte
JP7478100B2 (ja) 2018-06-14 2024-05-02 マジック リープ， インコーポレイテッド 反響利得正規化
CN114586382B (zh) * 2019-10-25 2025-09-23 奇跃公司 一种用于确定和处理音频信息的方法、系统和介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213415A1 (en) * 2003-04-28 2004-10-28 Ratnam Rama Determining reverberation time
US7813499B2 (en) 2005-03-31 2010-10-12 Microsoft Corporation System and process for regression-based residual acoustic echo suppression
EP1885154B1 (fr) 2006-08-01 2013-07-03 Nuance Communications, Inc. Déreverbération des signaux d'un microphone
DE102007031677B4 (de) * 2007-07-06 2010-05-20 Sda Software Design Ahnert Gmbh Verfahren und Vorrichtung zum Ermitteln einer raumakustischen Impulsantwort in der Zeitdomäne
EP2058804B1 (fr) 2007-10-31 2016-12-14 Nuance Communications, Inc. Procédé de déréverbération d'un signal acoustique et système associé
US9407992B2 (en) 2012-12-14 2016-08-02 Conexant Systems, Inc. Estimation of reverberation decay related applications
CN106688247A (zh) * 2014-09-26 2017-05-17 Med-El电气医疗器械有限公司 确定房间混响以用于信号增强
US9607627B2 (en) * 2015-02-05 2017-03-28 Adobe Systems Incorporated Sound enhancement through deverberation

Also Published As

Publication number Publication date
US10313809B2 (en) 2019-06-04
WO2017089688A1 (fr) 2017-06-01
US20180359582A1 (en) 2018-12-13
FR3044509A1 (fr) 2017-06-02
FR3044509B1 (fr) 2017-12-15
EP3381204B1 (fr) 2019-11-13

Similar Documents

Publication Publication Date Title
EP3381204B1 (fr) Procede et dispositif pour estimer la reverberation acoustique
EP3807669B1 (fr) Localisation de sources sonores dans un environnement acoustique donné
WO2020108614A1 (fr) Procédé de reconnaissance audio et procédé, appareil et dispositif de positionnement audio cible
EP2122607B1 (fr) Procede de reduction active d&#39;une nuisance sonore
EP4046390B1 (fr) Localisation perfectionnee d&#39;une source acoustique
EP1707970A1 (fr) Procédé de detection de la position d&#39;un front d&#39;onde dans un signal reçu par un detecteur
Foy et al. Mean absorption estimation from room impulse responses using virtually supervised learning
EP1258168B1 (fr) Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs
EP3044580B1 (fr) Procédé de contrôle non-destructif par ultrasons d&#39;une pièce par analyses d&#39;échos
CN109862503B (zh) 一种扬声器延时自动调整的方法与设备
EP3385899A1 (fr) Procédé de détection en temps réel d&#39;une scène par un appareil et appareil correspondant
CN115240701A (zh) 降噪模型的训练方法、语音降噪方法、装置和电子设备
FR3065079A1 (fr) Procede et dispositif de sondage ultrasonore pour l&#39;obtention de courbes de dispersion d&#39;un milieu sonde
EP4386338A1 (fr) Restitution audio optimisee en temps reel
FR3051959A1 (fr) Procede et dispositif pour estimer un signal dereverbere
FR3112017A1 (fr) Equipement électronique comprenant un simulateur de distorsion
FR3030721A1 (fr) Dispositif et procede de detection de poissons dans un dispositif de franchissement
WO2011012789A1 (fr) Localisation de sources
EP3844979A1 (fr) Procédé et dispositif de contrôle de la distorsion d&#39;un système de haut-parleurs embarqué dans un véhicule
FR3158205A1 (fr) Procédé de détection de vent
Wu et al. Reverberation time estimation from speech signals based on blind room impulse response identification
FR2875633A1 (fr) Procede et dispositif d&#39;evaluation de l&#39;efficacite d&#39;une fonction de reduction de bruit destinee a etre appliquee a des signaux audio
FR3148129A1 (fr) Estimation perfectionnée d’une distance source-microphone et d’une géométrie de salle
FR3161978A1 (fr) Procédé d’analyse en temps réel d’un signal sonore, et dispositif d’analyse correspondant
CN117807464A (zh) 混响时间计算方法、装置、设备及存储介质

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180515

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602016024438

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: H04R0029000000

Ipc: G10L0025210000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: H04R 29/00 20060101ALI20190514BHEP

Ipc: G10L 25/21 20130101AFI20190514BHEP

Ipc: H04S 7/00 20060101ALI20190514BHEP

INTG Intention to grant announced

Effective date: 20190618

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1202500

Country of ref document: AT

Kind code of ref document: T

Effective date: 20191115

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: VALIPAT S.A. C/O BOVARD SA NEUCHATEL, CH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602016024438

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20191113

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200213

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200213

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200214

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200313

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200313

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602016024438

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1202500

Country of ref document: AT

Kind code of ref document: T

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20200814

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20161121

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: MC

Payment date: 20221020

Year of fee payment: 7

Ref country code: LU

Payment date: 20221021

Year of fee payment: 7

Ref country code: IE

Payment date: 20221014

Year of fee payment: 7

Ref country code: GB

Payment date: 20221121

Year of fee payment: 7

Ref country code: DE

Payment date: 20221114

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20221129

Year of fee payment: 7

Ref country code: BE

Payment date: 20221125

Year of fee payment: 7

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602016024438

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20231121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240603

Year of fee payment: 8

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20231130

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240601

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240601

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20241130