EP1944755A1 - Modification d'un signal de parole - Google Patents
Modification d'un signal de parole Download PDFInfo
- Publication number
- EP1944755A1 EP1944755A1 EP08100453A EP08100453A EP1944755A1 EP 1944755 A1 EP1944755 A1 EP 1944755A1 EP 08100453 A EP08100453 A EP 08100453A EP 08100453 A EP08100453 A EP 08100453A EP 1944755 A1 EP1944755 A1 EP 1944755A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- residue
- modified
- modification
- temporal envelope
- envelope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012986 modification Methods 0.000 title claims abstract description 54
- 230000004048 modification Effects 0.000 title claims abstract description 54
- 230000002123 temporal effect Effects 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 12
- 230000005284 excitation Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004704 glottis Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
- G10L2021/0135—Voice conversion or morphing
Definitions
- the present invention relates to the modification of the speech and more particularly to the modification of the acoustic parameters of decomposed speech signals into a parametric part and a non-parametric part.
- filter-excitation It is known to decompose the speech signals according to so-called "filter-excitation" models.
- speech is considered a glottic excitation transformed by a filter representing the vocal channel.
- the excitation is obtained by inverse filtering of the speech signal. It sometimes includes a part that is also parametric and a residue. The residue corresponds to the difference between the excitation and the corresponding parametric modeling.
- the frequency, rhythm or timbre information is changed through the parameters of the model.
- Another approach is to have a model of the glottal source compact enough that the pace of the glottal signal can be controlled during changes in the signal.
- Such an approach is described for example in the document " Toward a high-quality singing synthesizer with vocal texture control ", Stanford University, 2002 by HL Lu . Nevertheless, such a model does not capture all the information of the glottal signal. Residual information must be kept and its modification raises the problem of lack of temporal coherence mentioned above.
- One of the objectives of the present invention is to allow such a modification.
- the temporal coherence of the modified signal is improved.
- said signal decomposition is a decomposition according to an excitation-filter type model.
- Such a decomposition makes it possible to obtain a residue corresponding to a glottic excitation.
- the estimation of the temporal envelope of the residue comprises the estimation of a first envelope, then a temporal smoothing of this first envelope.
- This embodiment makes it possible to obtain a better estimate of the temporal envelope.
- the method further comprises temporal normalization of the residue based on the estimate of the time envelope. This makes it possible to obtain an expression of the residue that is substantially independent of its temporal characteristics.
- the temporal normalization of the residue comprises dividing the residue by estimating the time envelope.
- determining a new time envelope for the residue includes changing parameters of the time envelope of the residue according to said modification instructions and applying the modified time envelope to the normalized residual.
- the estimation of the temporal envelope and the determination of a new temporal envelope are combined.
- the modification of acoustic characteristics comprises a modification of fundamental frequency information and duration of the parametric part and the residue.
- the invention also relates to a program for implementing the method described above and a corresponding device.
- the process shown with reference to figure 1 starts with a step of analysis of the speech signal which comprises a decomposition 12 according to an excitation-filter model, that is to say a decomposition of the speech signal into a parametric part and a non-parametric part, called a residue and corresponding to a part of the glottal excitation.
- step 12 A common practice for the implementation of step 12 is the use of linear prediction techniques such as those described in the J. Makhoul, "Linear Prediction: A tutorial Review,” Proceedings of the IEEE, vol. 63 (4), pp. 561-580, April 1975 .
- a k denote the coefficients of an AR type filter modeling the vocal tract and the term e (n) is the residual signal relative to the excitation part, with n a signal frame index. Note that if the order of the model is large enough then e (n) is not correlated with s (n).
- the estimation of the coefficients amounts to the inversion of a Toeplitz matrix, which can be achieved using conventional procedures and in particular using the algorithm described by J. Durbin, "The fitting of time-series models", Rev. Inst. Int. Statistics .
- the decomposition 12 makes it possible to obtain, for excitation, a parametric model in addition to the residue.
- the excitation-filter decomposition is carried out using a priori information on the excitation.
- the excitation can be modeled by integrating information related to the speech production process, in particular via a parametric model of the derivative of the glottal flow wave (DODG), such as for example the LF model proposed by Liljencrants and Fant in "A four-parameter model of glottal flow", STL-QPSR, vol. 4, pp. 1-13, 1985 .
- DODG derivative of the glottal flow wave
- This model is entirely defined by the data of the fundamental period T0, of three shape parameters which are an open quotient of periods, an asymmetry coefficient and a return phase coefficient, of a position parameter corresponding to the instant of closure of the glottis and a term b 0 characterizing the amplitude of the DODG.
- the method delivers a modeling of the speech signal s (n) in the form of a parametric part and a residue that is non-parametric.
- the analysis step 10 then comprises an estimate 14 of the temporal envelope of the residue.
- the temporal envelope is defined as the module of the analytical signal and is obtained by a so-called Hilbert transformation.
- the estimate 14 comprises a smoothing of the temporal envelope of the residue.
- This provides a better estimate especially for voiced sounds for which the envelope is periodic period T 0 , with T 0 denoting the inverse of the fundamental frequency f 0 .
- the exponent T represents the transposition operator.
- vs ( M H ⁇ M ⁇ ) - 1 M H ⁇ d
- H denotes the Hermitian transposition operator.
- temporal normalization means obtaining a substantially invariant residue at the time level, more precisely, obtaining a residue whose temporal envelope is constant.
- the method comprises a step 18 for determining instructions for modifying the speech signal.
- These instructions can be of two types.
- a target has been defined for each of the parameters to be modified. This is particularly the case in speech synthesis where many algorithms for predicting the duration, the fundamental frequency or even the energy of the signals exist. For example, fundamental frequency and energy values can be estimated for the beginning and the end of each syllable or each phoneme of the utterance. Similarly, the duration of each syllable or phoneme can be predicted. Given these digital targets and the speech signal, modifying coefficients can be obtained by relating the measurement made on the signal to the value of the corresponding predicted target.
- such targets are not available, but it is possible to define a set of modification coefficients for modifying the desired parameters.
- a fundamental frequency modification coefficient of 0.5 makes it possible to divide by 2 the perceived voice height.
- these modification coefficients can be defined globally over the entire statement or more locally, for example at the scale of a syllable or a word.
- the method then comprises a step 20 of modifying the speech signal s (n) according to the previously determined instructions.
- the modification step 20 firstly comprises a modification 22 of the parametric portion of the pattern corresponding to the speech signal and the normalized residue.
- this modification relates to the fundamental frequency as well as the duration and is implemented in a conventional manner with a technique known as TD-PSOLA (in English).
- Time Domain Pitch Synchronous Overlap and Add as described in the publication "Non-parametric techniques for pitch-scale and time-scale modification of speech", Speech Communication, Vol. 16, pp. 175-205, 1995 by E. Moulines and J. Laroche .
- This technique makes it possible to jointly modify the duration and the fundamental frequency with the respective coefficients ⁇ (t) and ⁇ (t).
- the Figure 2A represents the speech signal to be modified s (n).
- this signal is segmented into so-called pitch-synchronous frames, that is to say that each segment has a duration corresponding to the inverse of the fundamental frequency of the signal.
- the glottal closure instants also called analysis instants, are located in the vicinity of the energy maxima of the speech signal and the TD-PSOLA treatment allows a good preservation of the characteristics of the speech signal in the vicinity of the extremities.
- segments obtained by pitch-synchronous analysis.
- Such pitch-synchronous segmentation is obtained, for example, by time delay techniques or from the method proposed by D. Vincent, O. Rosec, and T. Chonavel, in the publication "Glottal closure instant estimation using an appropriateness measure of the source and continuity constraints", IEEE ICASSP'06, vol. 1, pp. 381-384, Toulouse, France, May 2006 .
- this pitch-synchronous marking step is performed offline, that is to say not in real time, which reduces the calculation load for implementation in real time.
- the signal comprises an integer number of segments or frames, each of a duration corresponding to a period which is the inverse of the modified fundamental frequency, as shown in FIG. Figure 2B .
- the modification processing then comprises a windowing 26 of the signal around the analysis instants, that is to say the moments separating the segments. During this windowing, a portion of the windowed signal around this instant is selected for each analysis instant. This portion of the signal is called a "short-term signal" and extends, in the example, over a period corresponding to twice the fundamental period modified as shown with reference to FIG. Figure 2C .
- the modifying processing finally comprises a summation 28 of the short-term signals which are recentered on the synthesis instants and added as shown with reference to FIG. 2D figure .
- step 22 is performed using a HNM ( Harmonic plus Noise Model ) type technique , or a phase vocoder type technique.
- HNM Harmonic plus Noise Model
- phase vocoder type technique or a phase vocoder type technique.
- the fundamental frequency and duration changes can also be made by different techniques.
- the modified normalized residue that is to say the normalized residue whose fundamental frequency and / or time information has been modified, is denoted by ⁇ modif ( n ).
- the method then comprises a step 30 of modifying the temporal envelope of the residue. More precisely, this step makes it possible to substitute the original temporal characteristics of the residue with temporal characteristics in accordance with the desired modifications.
- Step 30 begins with a determination 32 of new temporal characteristics of the residue.
- new temporal characteristics of the residue In the example, it is the modification of the temporal envelope of the residue, as obtained at the end of step 14.
- the modification of the fundamental frequency consists of a modification of the temporal envelope to make it coherent with the normalized residual whose fundamental frequency has been modified beforehand.
- One embodiment of such a modification consists of a dilation / contraction of the original time envelope d (n) in order to preserve the general shape.
- the shape of the time envelope must be changed. For example, when changes in the open coefficient are made, different expansion / contraction factors should be applied to the open and closed portions of the glottal cycle, respectively.
- Step 30 then comprises a determination of the new residue.
- this new residue is obtained by multiplying the residue ⁇ modif (n) by the modified envelope d modif .
- the original residue was therefore normalized, modified and then combined with the new temporal envelope. This makes it possible to ensure the coherence of its temporal envelope with the modifications of fundamental frequency and / or of vocal quality.
- the excitation is merged with the residue, which corresponds to the case where the residue is obtained by simple inverse linear filtering and where the excitation comprises no parametric part.
- the excitation is composed of a glottic source that can be modeled by a parametric model and of a residual
- the method finally comprises a step 40 of synthesis of the modified signal.
- This synthesis consists of a filtering of the signal obtained at the end of step 20 by the filter of the vocal tract as defined in step 12.
- Step 40 also comprises an addition - overlap of the frames thus filtered.
- This synthesis step is conventional and will not be described in more detail here.
- the specific treatment of the temporal envelope of the residue makes it possible to obtain a modification ensuring a good temporal coherence.
- the residue can be broken down into subbands.
- steps 14, 16 and 20 are performed on all or part of the sub-bands considered separately.
- the final residue obtained is then the sum of the modified residues resulting from the different subbands.
- the residue can be decomposed into a deterministic part and a stochastic part.
- steps 14, 16 and 20 are performed for each of the parts considered.
- the final residue obtained is then the sum of the modified deterministic and stochastic components.
- the different steps of the invention can be performed in a different order.
- the time envelope is changed before changes are made to the signal.
- the modifications are made on the residue with its new time envelope and not on the normalized residue as in the example described above.
- the steps of normalizing the residue and determining new temporal characteristics are combined.
- the residue is directly modified by a time factor determined from its time envelope and modification instructions. This temporal factor makes it possible both to suppress the dependence of the residue with its original temporal characteristics and to apply new temporal characteristics.
- the invention may be implemented by a program containing specific instructions which, when executed by a computer, cause the steps described above to be carried out.
- the invention can also be implemented by a device comprising appropriate means, such as microprocessors, microcomputers and associated memories, or programmed electronic components.
- Such a device can be adapted to implement any embodiment of the method described above.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Oscillators With Electromechanical Resonators (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
- La présente invention concerne la modification de la parole et plus particulièrement, la modification des paramètres acoustiques de signaux de parole décomposés en une partie paramétrique et une partie non paramétrique.
- Il est connu de décomposer les signaux de parole selon des modèles dits « filtre - excitation ». Dans ces modèles, la parole est considérée comme une excitation glottique transformée par un filtre représentant le canal vocal.
- L'excitation est obtenue par un filtrage inverse du signal de parole. Elle comprend parfois une partie qui est également paramétrique et un résidu. Le résidu correspond à la différence entre l'excitation et la modélisation paramétrique correspondante.
- Lors de la modification des signaux de parole, les informations de fréquence, de rythme ou de timbre sont modifiées par le biais des paramètres du modèle.
- Toutefois, ces modifications entraînent des distorsions audibles, notamment du fait d'un manque de contrôle de la cohérence temporelle, en particulier lors des modifications de fréquence fondamentale ou de timbre.
- Par exemple, le document "Applying the Harmonic plus Noise Model in concatenative speech synthesis", IEEE Transactions on Speech and Audio Processing, vol. 9 (1), pp. 21-29, January 2001 de Y. Stylianou, prévoit d'utiliser un modèle harmonique plus bruit, ou modèle NNM, avec une modulation temporelle de la partie bruitée de façon à ce qu'elle s'intègre de manière naturelle à la partie déterministe. Cependant, cette méthode ne préserve pas la cohérence temporelle de la partie déterministe.
- Une autre approche consiste à disposer d'un modèle de la source glottique suffisamment compact pour que l'allure du signal glottique puisse être maîtrisée lors de modifications du signal. Une telle approche est décrite par exemple dans le document "Toward a high-quality singing synthesizer with vocal texture control", Stanford University, 2002 de H. L. Lu. Néanmoins, un tel modèle ne capture pas toute l'information du signal glottique. Une information résiduelle doit être conservée et sa modification soulève le problème de manque de cohérence temporelle évoqué plus haut.
- Dans le document "Time-scale modification of complex acoustic signals", ICASSP 1993, vol. 1, pp. 213-216, 1993 de T. F. Quatieri, R. B. Dunn and T. E. Hanna, il est proposé une méthode de modification de signaux de parole visant à préserver à la fois l'enveloppe spectrale et l'enveloppe temporelle. Cette méthode est appliquée uniquement à la modification de la durée de signaux acoustiques et n'est pas pratique dans la mesure où il n'est théoriquement pas possible de garantir l'existence d'une solution satisfaisant simultanément à ces deux propriétés. De surcroît, il n'existe pas de résultat de convergence de l'algorithme proposé et par conséquent, cette méthode ne permet pas d'avoir un contrôle suffisant sur les caractéristiques du signal résultant.
- Ainsi, il n'existe pas de technique permettant de modifier les signaux de parole tout en assurant une bonne cohérence au niveau temporel.
- Un des objectifs de la présente invention est de permettre une telle modification.
- A cet effet, la présente invention a pour objet un procédé de modification des caractéristiques acoustiques d'un signal de parole, caractérisé en ce qu'il comporte :
- une décomposition du signal en une partie paramétrique et un résidu non paramétrique ;
- une estimation de l'enveloppe temporelle du résidu ;
- une modification de caractéristiques acoustiques de la partie paramétrique et du résidu selon des consignes de modification ;
- une détermination, selon lesdites consignes de modification, d'une nouvelle enveloppe temporelle pour le résidu modifié ; et
- une synthèse d'un signal de parole modifié à partir de la partie paramétrique modifiée et du résidu tel que modifié et avec la nouvelle enveloppe temporelle.
- Grâce au traitement spécifique effectué sur les caractéristiques temporelles du résidu, la cohérence temporelle du signal modifié est améliorée.
- Dans un mode de réalisation de l'invention, ladite décomposition du signal est une décomposition selon un modèle de type excitation - filtre. Une telle décomposition permet d'obtenir un résidu correspondant à une excitation glottique.
- Avantageusement, l'estimation de l'enveloppe temporelle du résidu comprend l'estimation d'une première enveloppe, puis un lissage temporel de cette première enveloppe. Ce mode de réalisation permet d'obtenir une meilleure estimation de l'enveloppe temporelle.
- Dans un mode de réalisation particulier, le procédé comprend en outre une normalisation temporelle du résidu en fonction de l'estimation de l'enveloppe temporelle. Ceci permet d'obtenir une expression du résidu sensiblement indépendante de ses caractéristiques temporelles.
- Dans un mode de réalisation particulier, la normalisation temporelle du résidu comprend la division du résidu par l'estimation de l'enveloppe temporelle.
- Dans un autre mode de réalisation, la détermination d'une nouvelle enveloppe temporelle pour le résidu comprend une modification de paramètres de l'enveloppe temporelle du résidu selon lesdites consignes de modification et une application de l'enveloppe temporelle modifiée au résidu normalisé.
- Dans un mode de réalisation, l'estimation de l'enveloppe temporelle et la détermination d'une nouvelle enveloppe temporelle sont confondues.
- Avantageusement, la modification de caractéristiques acoustiques comprend une modification d'informations de fréquence fondamentale et de durée de la partie paramétrique et du résidu.
- En outre, l'invention porte également sur un programme de mise en oeuvre du procédé décrit précédemment et un dispositif correspondant.
- L'invention sera mieux comprise à la lumière de la description faite à titre d'exemple et en référence aux figures sur lesquelles :
- la
figure 1 représente de manière générale un organigramme du procédé de l'invention ; et - les
figures 2A à 2D représentent différents stades de traitement d'un signal de parole. - Le procédé représenté en référence à la
figure 1 débute par une étape 10 d'analyse du signal de parole qui comprend une décomposition 12 selon un modèle excitation - filtre, c'est-à-dire une décomposition du signal de parole en une partie paramétrique et une partie non paramétrique, appelée résidu et correspondant à une partie de l'excitation glottique. - Une pratique courante pour la mise en oeuvre de l'étape 12 est l'utilisation de techniques de prédiction linéaire telles que celles décrites dans le document de J. Makhoul, "Linear Prediction: a tutorial review", Proceedings of the IEEE, vol. 63(4), pp. 561-580, April 1975.
-
- Dans cette équation, les termes ak désignent les coefficients d'un filtre de type AR modélisant le conduit vocal et le terme e(n) est le signal résiduel relatif à la partie excitation, avec n un indice de trame de signal. Notons que si l'ordre du modèle est suffisamment grand alors e(n) n'est pas corrélé à s(n).
- Cela s'écrit formellement E[e(n)s(n-m)]=0 pour tout entier m, où E[.] désigne l'espérance mathématique.
- En pratique, des ordres typiques de 10 et de 16 sont choisis pour des signaux de parole échantillonnés respectivement à 8 et 16 kHz.
-
-
-
- Ainsi, l'estimation des coefficients revient à l'inversion d'une matrice de Toeplitz, ce qui peut être réalisé à l'aide de procédures classiques et notamment à l'aide de l'algorithme décrit par J. Durbin, "The fitting of time-series models", Rev. Inst. Int. Statistics.
- En variante, la décomposition 12 permet d'obtenir, pour l'excitation, un modèle paramétrique en sus du résidu.
- Par exemple, la décomposition excitation - filtre est réalisée en utilisant une information a priori sur l'excitation. Ainsi, l'excitation peut être modélisée en intégrant des informations liées au processus de production de la parole, notamment via un modèle paramétrique de la dérivée de l'onde de débit glottique (DODG), tel que par exemple le modèle LF proposé par Liljencrants et Fant dans "A four-parameter model of glottal flow", STL-QPSR, vol. 4, pp. 1-13, 1985. Ce modèle est entièrement défini par la donnée de la période fondamentale T0, de trois paramètres de forme qui sont un quotient ouvert de périodes, un coefficient d'asymétrie et un coefficient de phase de retour, d'un paramètre de position correspondant à l'instant de fermeture de glotte et d'un terme b0 caractérisant l'amplitude de la DODG.
-
- L'estimation simultanée des paramètres de la DODG et des paramètres liés au filtre est délicate, notamment parce que l'optimisation selon les paramètres de forme et de position est un problème non linéaire. Toutefois, lorsque T0 et u sont fixés, l'optimisation selon les paramètres ak et b0 est un problème linéaire classique, pour lequel un estimateur des moindres carrés peut être obtenu analytiquement. Sur la base de constat, une méthode efficace a été proposée par D. Vincent, O. Rosec, et T. Chonavel, dans la publication "Estimation of LF glottal source parameters based on ARX model", Interspeech'05, pp. 333-336, Lisbonne, Portugal, 2005.
- Dans ce mode de réalisation, à l'issue de la procédure d'estimation, le procédé délivre :
- des paramètres caractérisant complètement la DODG selon le modèle LF;
- des paramètres de filtre ak ;
- le résidu e(n) correspondant à l'erreur de modélisation liée au modèle ARX-LF.
- De manière générale, à l'issue de l'étape 12, le procédé délivre une modélisation du signal de parole s(n) sous la forme d'une partie paramétrique et d'un résidu qui est non paramétrique.
- L'étape d'analyse 10 comprend ensuite une estimation 14 de l'enveloppe temporelle du résidu.
-
- Avantageusement, l'estimation 14 comprend un lissage de l'enveloppe temporelle du résidu. Cela procure une meilleure estimation notamment pour des sons voisés pour lesquels l'enveloppe est périodique de période T0, avec T0 désignant l'inverse de la fréquence fondamentale f0. Par exemple, une modélisation cepstrale d'ordre K de l'enveloppe peut être utilisée. Celle-ci s'écrit sous la forme :
-
- Dans ces équations, l'exposant T représente l'opérateur de transposition.
-
- Une fois l'enveloppe temporelle du résidu estimée, le procédé comprend une étape 16 de normalisation temporelle du résidu. Dans ce document, normalisation temporelle signifie obtention d'un résidu sensiblement invariant au niveau temporel, plus précisément, obtention d'un résidu dont l'enveloppe temporelle est constante.
-
- En parallèle de l'analyse 10, le procédé comprend une étape 18 de détermination de consignes de modification du signal de parole. Ces consignes peuvent être de deux types.
- Dans un premier cas, une cible a été définie pour chacun des paramètres à modifier. Cela est notamment le cas en synthèse de la parole où de nombreux algorithmes de prédiction de la durée, de la fréquence fondamentale ou encore de l'énergie des signaux existent. Par exemple, des valeurs de fréquence fondamentale et d'énergie peuvent être estimées pour le début et la fin de chaque syllabe ou encore de chaque phonème de l'énoncé. De même, la durée de chaque syllabe ou de chaque phonème peut être prédite. Etant donné ces cibles numériques et le signal de parole, des coefficients de modification peuvent être obtenus en faisant le rapport entre la mesure effectuée sur le signal et la valeur de la cible prédite correspondante.
- Dans un deuxième cas, de telles cibles ne sont pas disponibles, mais il est possible de définir un ensemble de coefficients de modification pour la modification des paramètres désirés. Par exemple, un coefficient de modification de fréquence fondamentale de 0,5 permet de diviser par 2 la hauteur de voix perçue. Notons que ces coefficients de modification peuvent être définis de manière globale sur l'ensemble de l'énoncé ou de façon plus locale, par exemple à l'échelle d'une syllabe ou d'un mot.
- Le procédé comprend ensuite une étape 20 de modification du signal de parole s(n) selon les consignes déterminées précédemment.
- Les modifications opérées concernent la fréquence fondamentale, la durée et l'énergie des signaux de parole. En outre, lorsqu'une analyse utilisant une DODG est mise en oeuvre étant donné qu'une décomposition de type source-filtre est disponible, des modifications des paramètres de la qualité vocale peuvent être opérées en altérant le quotient ouvert, le coefficient d'asymétrie, ou encore le coefficient de phase de retour.
- L'étape 20 de modification comprend tout d'abord une modification 22 de la partie paramétrique du modèle correspondant au signal de parole et du résidu normalisé.
- Dans le mode de réalisation décrit, cette modification vise la fréquence fondamentale ainsi que la durée et est mise en oeuvre de manière classique avec une technique connue sous le nom de TD-PSOLA (en anglais Time Domain Pitch Synchronous Overlap and Add) telle que décrite dans la publication "Non-parametric techniques for pitch-scale and time-scale modification of speech", Speech Communication, vol. 16, pp. 175-205, 1995 par E. Moulines et J. Laroche.
- Cette technique permet d'opérer conjointement la modification de la durée et de la fréquence fondamentale avec les coefficients respectifs α(t) et β(t).
- En référence aux
figures 2A à 2D , les principales étapes du fonctionnement de la technique TD-PSOLA sont illustrées. - La
figure 2A représente le signal de parole à modifier s(n). Au cours d'une étape 24, ce signal est segmenté en trames de manière dite pitch-synchrone, c'est-à-dire que chaque segment a une durée correspondant à l'inverse de la fréquence fondamentale du signal. - En effet, les instants de fermeture de glotte, aussi appelés instants d'analyse, sont situés au voisinage des maxima d'énergie du signal de parole et le traitement TD-PSOLA permet une bonne préservation des caractéristiques du signal de parole au voisinage des extrémités des segments obtenus par analyse pitch-synchrone. Ainsi, lorsque ces instants sont repérés avec une précision satisfaisante, les performances de TD-PSOLA sont optimisées. Une telle segmentation pitch-synchrone est obtenue, par exemple, par des techniques à base de délais de groupe ou encore à partir de la méthode proposée par D. Vincent, O. Rosec, et T. Chonavel, dans la publication "Glottal closure instant estimation using an appropriateness measure of the source and continuity constraints", IEEE ICASSP'06, vol. 1, pp. 381-384, Toulouse, France, Mai 2006.
- Avantageusement, cette étape de marquage pitch-synchrone est réalisée hors-ligne, c'est-à-dire non en temps réel, ce qui permet de réduire la charge de calcul pour une mise en oeuvre en temps réel.
- En fonction des facteurs de modification souhaités pour la fréquence fondamentale et la durée, les instants séparant les segments sont modifiés selon les règles suivantes:
- pour un allongement de durée, certains segments sont dupliqués afin d'augmenter artificiellement le nombre d'impulsions glottiques ;
- pour une réduction de la durée, certains segments sont supprimés;
- pour une augmentation de la fréquence fondamentale, c'est-à-dire un rendu plus aigu, les instants d'analyse sont rapprochés, ce qui nécessite éventuellement la duplication de segments pour conserver la durée totale ; et
- pour une diminution de la fréquence fondamentale, c'est-à-dire un rendu plus grave, les instants d'analyse sont écartés, ce qui nécessite éventuellement la suppression de segments pour conserver la durée totale.
- Une description détaillée de ces règles se trouve dans la publication "Non-parametric techniques for pitch-scale and time-scale modification of speech", Speech Communication, vol. 16, pp. 175-205, 1995 par E. Moulines et J. Laroche.
- A l'issue de cette étape, le signal comprend un nombre entier de segments ou trames, chacun d'une durée correspondant à une période qui est l'inverse de la fréquence fondamentale modifiée, comme cela est représenté sur la
figure 2B . - Le traitement de modification comprend ensuite un fenêtrage 26 du signal autour des instants d'analyse, c'est-à-dire des instants séparant les segments. Au cours de ce fenêtrage, on sélectionne, pour chaque instant d'analyse, une portion du signal fenêtrée autour de cet instant. Cette portion de signal est appelée "signal court-terme" et s'étend, dans l'exemple, sur une durée correspondant à deux fois la période fondamentale modifiée comme représenté en référence à la
figure 2C . - Le traitement de modification comprend enfin une sommation 28 des signaux court-terme qui sont recentrés sur les instants de synthèse et ajoutés comme représenté en référence à la
figure 2D . - En variante, l'étape 22 est réalisée avec une technique de type HNM (en anglais Harmonic plus Noise Model), ou de type vocodeur de phase. Les modifications de fréquence fondamentale et de durée peuvent également être réalisées par des techniques différentes.
- Dans la suite, le résidu normalisé modifié, c'est-à-dire le résidu normalisé dont les informations de fréquence fondamentale et/ou de durée ont été modifiées, est noté ẽmodif (n).
- Le procédé comprend ensuite une étape 30 de modification de l'enveloppe temporelle du résidu. Plus précisément, cette étape permet de substituer aux caractéristiques temporelles d'origine du résidu, des caractéristiques temporelles en accord avec les modifications souhaitées.
- L'étape 30 débute par une détermination 32 de nouvelles caractéristiques temporelles du résidu. Dans l'exemple, il s'agit de la modification de l'enveloppe temporelle du résidu, telle qu'obtenue à l'issue de l'étape 14.
- Comme indiqué précédemment, en considérant une trame pitch-synchrone du signal, deux types de modifications peuvent être opérées conjointement ou non :
- une modification de la fréquence fondamentale ; et
- une modification des paramètres liés à la qualité vocale.
- La modification de la fréquence fondamentale consiste en une modification de l'enveloppe temporelle pour la rendre cohérente avec le résidu normalisé dont la fréquence fondamentale a été préalablement modifiée.
- Un mode de réalisation d'une telle modification consiste en une dilatation/contraction de l'enveloppe temporelle originale d̂(n) afin d'en préserver la forme générale.
-
- Lorsque des modifications des paramètres liés à la qualité vocale sont opérées, la forme de l'enveloppe temporelle doit être modifiée. Par exemple, lorsque des modifications du coefficient ouvert sont opérées, il convient d'appliquer des facteurs de dilatation/contraction différents sur respectivement les parties ouvertes et fermées du cycle glottique.
- Par exemple, on effectue une modification du quotient ouvert de sorte que la durée de la phase ouverte devienne
avec avec T0 qui est la longueur d'un cycle glottique dont l'instant de fermeture coïncide avec l'origine des temps et une phase ouverte originale de durée Te. Dans ce cas, pour conserver la même période fondamentale, il convient de dilater le signal selon les coefficients suivants : -
- Bien entendu, d'autres types de modification de paramètres de la qualité vocale sont possibles selon des principes similaires.
- L'étape 30 comprend ensuite une détermination 34 du nouveau résidu. Dans l'exemple, ce nouveau résidu s'obtient par multiplication du résidu ẽmodif (n) par l'enveloppe modifiée dmodif .
- Le résidu d'origine a donc été normalisé, modifié, puis combiné avec la nouvelle enveloppe temporelle. Ceci permet d'assurer la cohérence de son enveloppe temporelle avec les modifications de fréquence fondamentale et/ou de qualité vocale.
- Dans le mode de réalisation décrit, l'excitation est confondue avec le résidu, ce qui correspond au cas où le résidu est obtenu par simple filtrage linéaire inverse et où l'excitation ne comporte par de partie paramétrique.
- Dans le cas où l'excitation est composée d'une source glottique modélisable par un modèle paramétrique et d'un résidu, il convient d'opérer le même type de modification sur la source glottique ainsi paramétrée en ajustant les paramètres de fréquence fondamentale et de qualité vocale.
- Le procédé comporte enfin une étape 40 de synthèse du signal modifié. Cette synthèse consiste en un filtrage du signal obtenu à l'issue de l'étape 20 par le filtre du conduit vocal tel que défini lors de l'étape 12. L'étape 40 comprend également une addition - recouvrement des trames ainsi filtrées. Cette étape de synthèse est classique et ne sera pas décrite plus en détails ici.
- Ainsi, le traitement spécifique de l'enveloppe temporelle du résidu permet d'obtenir une modification assurant une bonne cohérence temporelle.
- Bien entendu, d'autres modes de réalisation peuvent être envisagés.
- Tout d'abord, le résidu peut être décomposé en sous-bandes. Dans ce cas, les étapes 14, 16 et 20 sont réalisées sur tout ou partie des sous-bandes considérées séparément. Le résidu final obtenu est alors la somme des résidus modifiés issus des différentes sous-bandes.
- En outre, le résidu peut faire l'objet d'une décomposition en une partie déterministe et une partie stochastique. Dans ce cas, les étapes 14, 16 et 20 sont réalisées pour chacune des parties considérées. Là encore, le résidu final obtenu est alors la somme des composantes déterministes et stochastiques modifiées.
- En outre, ces deux variantes peuvent être combinées, de sorte qu'un traitement séparé sur chaque sous-bande et pour chacune des composantes déterministe et stochastique peut être effectué.
- Dans un autre mode de réalisation, les différentes étapes de l'invention peuvent être réalisées dans un ordre différent. Par exemple, l'enveloppe temporelle est modifiée avant que les modifications ne soient faites sur le signal. Ainsi, les modifications sont apportées sur le résidu avec sa nouvelle enveloppe temporelle et non sur le résidu normalisé comme dans l'exemple décrit précédemment.
- Selon un autre mode de réalisation, les étapes de normalisation du résidu et de détermination de nouvelles caractéristiques temporelles sont combinées. Dans un tel mode de réalisation, le résidu est directement modifié par un facteur temporel déterminé à partir de son enveloppe temporelle et des consignes de modification. Ce facteur temporel permet à la fois de supprimer la dépendance du résidu avec ses caractéristiques temporelles d'origine et d'appliquer de nouvelles caractéristiques temporelles.
- Par ailleurs, l'invention peut être mise en oeuvre par un programme contenant des instructions spécifiques qui, lorsqu'elles sont exécutées par un calculateur, entraînent la réalisation des étapes décrites précédemment.
- L'invention peut également être mise en oeuvre par un dispositif comportant des moyens appropriés, tels que des microprocesseurs, microcalculateurs et mémoires associées, ou encore des composants électroniques programmés.
- Un tel dispositif peut être adapté pour mettre en oeuvre n'importe quel mode de réalisation du procédé décrit précédemment.
Claims (11)
- Procédé de modification des caractéristiques acoustiques d'un signal de parole (s(n)) caractérisé en ce qu'il comporte :- une décomposition (12) du signal en une partie paramétrique et un résidu non paramétrique (e(n)) ;- une estimation (14) de l'enveloppe temporelle du résidu ;- une modification (22) de caractéristiques acoustiques de la partie paramétrique et du résidu selon des consignes de modification ;- une détermination (30), selon lesdites consignes de modification, d'une nouvelle enveloppe temporelle pour le résidu modifié ; et- une synthèse (40) d'un signal de parole modifié à partir de la partie paramétrique modifiée et du résidu tel que modifié et avec la nouvelle enveloppe temporelle.
- Procédé selon la revendication 1, caractérisé en ce que ladite décomposition du signal est une décomposition selon un modèle de type excitation - filtre.
- Procédé selon l'une quelconque des revendications 1 et 2, caractérisé en ce que l'estimation de l'enveloppe temporelle du résidu comprend l'estimation d'une première enveloppe puis un lissage temporel de cette première enveloppe.
- Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il comprend en outre une normalisation temporelle (16) du résidu en fonction de l'estimation de l'enveloppe temporelle.
- Procédé selon la revendication 4, caractérisé en ce que la normalisation temporelle du résidu comprend la division du résidu par l'estimation de l'enveloppe temporelle.
- Procédé selon la revendication 4 ou 5, caractérisé en ce que la détermination d'une nouvelle enveloppe temporelle pour le résidu comprend une modification (32) de paramètres de l'enveloppe temporelle du résidu selon lesdites consignes de modification et une application (34) de l'enveloppe temporelle modifiée au résidu normalisé.
- Procédé selon l'une quelconque des revendications 1 et 5, caractérisé en ce que l'estimation de l'enveloppe temporelle et la détermination d'une nouvelle enveloppe temporelle sont confondues.
- Procédé selon l'une quelconque des revendications 1 à 7, caractérisé en ce que la modification de caractéristiques acoustiques comprend une modification d'informations de fréquence fondamentale et de durée de la partie paramétrique et du résidu.
- Programme pour un dispositif de modification d'un signal de parole (s(n)), caractérisé en ce qu'il comporte des instructions qui, lorsqu'elles sont exécutées sur un calculateur de ce dispositif, entraînent la mise en oeuvre d'un procédé selon l'une quelconque des revendications 1 à 8.
- Dispositif de modification d'un signal de parole, caractérisé en ce qu'il comporte :- des moyens de décomposition du signal en une partie paramétrique et un résidu non paramétrique (e(n)) ;- des moyens d'estimation de l'enveloppe temporelle du résidu ;- des moyens de modification de caractéristiques acoustiques de la partie paramétrique et du résidu selon des consignes de modification ;- des moyens de détermination, selon lesdites consignes de modification, d'une nouvelle enveloppe temporelle pour le résidu modifié ; et- des moyens de synthèse d'un signal de parole modifié à partir de la partie paramétrique modifiée et du résidu tel que modifié et avec la nouvelle enveloppe temporelle.
- Dispositif selon la revendication 10, caractérisé en ce qu'il comporte des moyens aptes à la mise en oeuvre d'un procédé selon l'une quelconque des revendications 2 à 8.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0700257A FR2911426A1 (fr) | 2007-01-15 | 2007-01-15 | Modification d'un signal de parole |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP1944755A1 true EP1944755A1 (fr) | 2008-07-16 |
| EP1944755B1 EP1944755B1 (fr) | 2010-03-17 |
Family
ID=38232910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP08100453A Not-in-force EP1944755B1 (fr) | 2007-01-15 | 2008-01-14 | Modification d'un signal de parole |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20080208599A1 (fr) |
| EP (1) | EP1944755B1 (fr) |
| AT (1) | ATE461514T1 (fr) |
| DE (1) | DE602008000802D1 (fr) |
| FR (1) | FR2911426A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798831A (zh) * | 2020-06-16 | 2020-10-20 | 武汉理工大学 | 一种声音粒子合成方法及装置 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101578659B (zh) * | 2007-05-14 | 2012-01-18 | 松下电器产业株式会社 | 音质转换装置及音质转换方法 |
| US9502073B2 (en) * | 2010-03-08 | 2016-11-22 | Magisto Ltd. | System and method for semi-automatic video editing |
| US9189137B2 (en) | 2010-03-08 | 2015-11-17 | Magisto Ltd. | Method and system for browsing, searching and sharing of personal video by a non-parametric approach |
| US9554111B2 (en) | 2010-03-08 | 2017-01-24 | Magisto Ltd. | System and method for semi-automatic video editing |
| MY165853A (en) | 2011-02-14 | 2018-05-18 | Fraunhofer Ges Forschung | Linear prediction based coding scheme using spectral domain noise shaping |
| MY160265A (en) | 2011-02-14 | 2017-02-28 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V | Apparatus and Method for Encoding and Decoding an Audio Signal Using an Aligned Look-Ahead Portion |
| TWI480856B (zh) * | 2011-02-14 | 2015-04-11 | Fraunhofer Ges Forschung | 音訊編解碼器中之雜訊產生技術 |
| KR101699898B1 (ko) | 2011-02-14 | 2017-01-25 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 스펙트럼 영역에서 디코딩된 오디오 신호를 처리하기 위한 방법 및 장치 |
| MY166394A (en) | 2011-02-14 | 2018-06-25 | Fraunhofer Ges Forschung | Information signal representation using lapped transform |
| AR085361A1 (es) | 2011-02-14 | 2013-09-25 | Fraunhofer Ges Forschung | Codificacion y decodificacion de posiciones de los pulsos de las pistas de una señal de audio |
| RU2586838C2 (ru) | 2011-02-14 | 2016-06-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Аудиокодек, использующий синтез шума в течение неактивной фазы |
| KR101551046B1 (ko) | 2011-02-14 | 2015-09-07 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법 |
| TWI488176B (zh) | 2011-02-14 | 2015-06-11 | Fraunhofer Ges Forschung | 音訊信號音軌脈衝位置之編碼與解碼技術 |
| KR101525185B1 (ko) | 2011-02-14 | 2015-06-02 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 트랜지언트 검출 및 품질 결과를 사용하여 일부분의 오디오 신호를 코딩하기 위한 장치 및 방법 |
| US9508329B2 (en) * | 2012-11-20 | 2016-11-29 | Huawei Technologies Co., Ltd. | Method for producing audio file and terminal device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996016533A2 (fr) * | 1994-11-25 | 1996-06-06 | Fink Fleming K | Procede destine a transformer un signal vocal au moyen d'un manipulateur de hauteur |
| WO2006106466A1 (fr) * | 2005-04-07 | 2006-10-12 | Koninklijke Philips Electronics N.V. | Procede et processeur de signaux permettant de modifier des signaux audio |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864809A (en) * | 1994-10-28 | 1999-01-26 | Mitsubishi Denki Kabushiki Kaisha | Modification of sub-phoneme speech spectral models for lombard speech recognition |
| US6182042B1 (en) * | 1998-07-07 | 2001-01-30 | Creative Technology Ltd. | Sound modification employing spectral warping techniques |
| US6385573B1 (en) * | 1998-08-24 | 2002-05-07 | Conexant Systems, Inc. | Adaptive tilt compensation for synthesized speech residual |
| US7394833B2 (en) * | 2003-02-11 | 2008-07-01 | Nokia Corporation | Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification |
| US7548852B2 (en) * | 2003-06-30 | 2009-06-16 | Koninklijke Philips Electronics N.V. | Quality of decoded audio by adding noise |
| GB0326263D0 (en) * | 2003-11-11 | 2003-12-17 | Nokia Corp | Speech codecs |
| US7720230B2 (en) * | 2004-10-20 | 2010-05-18 | Agere Systems, Inc. | Individual channel shaping for BCC schemes and the like |
| US8204261B2 (en) * | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
-
2007
- 2007-01-15 FR FR0700257A patent/FR2911426A1/fr not_active Withdrawn
-
2008
- 2008-01-14 AT AT08100453T patent/ATE461514T1/de not_active IP Right Cessation
- 2008-01-14 DE DE602008000802T patent/DE602008000802D1/de active Active
- 2008-01-14 EP EP08100453A patent/EP1944755B1/fr not_active Not-in-force
- 2008-01-15 US US12/007,798 patent/US20080208599A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996016533A2 (fr) * | 1994-11-25 | 1996-06-06 | Fink Fleming K | Procede destine a transformer un signal vocal au moyen d'un manipulateur de hauteur |
| WO2006106466A1 (fr) * | 2005-04-07 | 2006-10-12 | Koninklijke Philips Electronics N.V. | Procede et processeur de signaux permettant de modifier des signaux audio |
Non-Patent Citations (12)
| Title |
|---|
| D. VINCENT; O. ROSEC; T. CHONAVEL: "Estimation of LF glottal source parameters based on ARX model", INTERSPEECH'05, 2005, pages 333 - 336 |
| D. VINCENT; O. ROSEC; T. CHONAVEL: "Glottal closure instant estimation using an appropriateness measure of the source and continuity constraints", IEEE ICASSP'06, vol. 1, May 2006 (2006-05-01), pages 381 - 384 |
| DAMIEN VINCENT: "Analyse et contrôle du signal glottique en synthèse de la parole.", 15 January 2007, ENST BRETAGNE ET UNIVERSTITÉ DE RENNES 1, RENNES, FRANCE, XP002442389 * |
| E. MOULINES; J. LAROCHE: "Non-parametric techniques for pitch-scale and time-scale modification of speech", SPEECH COMMUNICATION, vol. 16, 1995, pages 175 - 205, XP004024959, DOI: doi:10.1016/0167-6393(94)00054-E |
| H. L. LU: "Toward a high-quality singing synthesizer with vocal texture control", STANFORD UNIVERSITY, 2002 |
| J. DURBIN: "The fitting of time- series models", REV. INST. INT. STATISTICS |
| J. MAKHOUL: "Linear Prediction: a tutorial review", PROCEEDINGS OF THE IEEE, vol. 63, no. 4, April 1975 (1975-04-01), pages 561 - 580, XP000891549 |
| LILJENCRANTS; FANT: "A four-parameter model of glottal flow", STL-QPSR, vol. 4, 1985, pages 1 - 13 |
| T. F. QUATIERI; R. B. DUNN; T. E. HANNA: "Time-scale modification of complex acoustic signals", ICASSP, vol. 1, 1993, pages 213 - 216, XP010110212, DOI: doi:10.1109/ICASSP.1993.319093 |
| VINCENT D ET AL: "A new method for speech synthesis and transformation based on an ARX-LF source-filter decomposition and HNM modeling", 2007 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 15 April 2007 (2007-04-15) - 20 April 2007 (2007-04-20), HONOLULU, HI, USA, pages IV - 525, XP002442991, ISBN: 1-4244-0727-3 * |
| Y. STYLIANOU: "Applying the Harmonic plus Noise Model in concatenative speech synthesis", IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING, vol. 9, no. 1, 29 January 2001 (2001-01-29), pages 21, XP011054068 |
| YANNIS STYLIANOU: "Applying the Harmonic Plus Noise Model in Concatenative Speech Synthesis", IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 9, no. 1, January 2001 (2001-01-01), XP011054068, ISSN: 1063-6676 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798831A (zh) * | 2020-06-16 | 2020-10-20 | 武汉理工大学 | 一种声音粒子合成方法及装置 |
| CN111798831B (zh) * | 2020-06-16 | 2023-11-28 | 武汉理工大学 | 一种声音粒子合成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE602008000802D1 (de) | 2010-04-29 |
| FR2911426A1 (fr) | 2008-07-18 |
| ATE461514T1 (de) | 2010-04-15 |
| US20080208599A1 (en) | 2008-08-28 |
| EP1944755B1 (fr) | 2010-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1944755B1 (fr) | Modification d'un signal de parole | |
| EP1970894A1 (fr) | Procédé et dispositif de modification d'un signal audio | |
| WO2005106852A1 (fr) | Procede et systeme ameliores de conversion d'un signal vocal | |
| FR2522179A1 (fr) | Procede et appareil de reconnaissance de paroles permettant de reconnaitre des phonemes particuliers du signal vocal quelle que soit la personne qui parle | |
| EP0195441B1 (fr) | Procédé de codage à faible débit de la parole à signal multi-impulsionnel d'excitation | |
| EP1606792B1 (fr) | Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse | |
| WO2005106853A1 (fr) | Procede et systeme de conversion rapides d'un signal vocal | |
| EP1526508B1 (fr) | Procédé de sélection d'unités de synthèse | |
| Al-Radhi et al. | Time-Domain Envelope Modulating the Noise Component of Excitation in a Continuous Residual-Based Vocoder for Statistical Parametric Speech Synthesis. | |
| van Santen et al. | Estimating phrase curves in the general superpositional intonation model. | |
| EP3138095B1 (fr) | Correction de perte de trame perfectionnée avec information de voisement | |
| Kafentzis et al. | Pitch modifications of speech based on an adaptive harmonic model | |
| McKenna | Automatic glottal closed-phase location and analysis by Kalman filtering | |
| d'Alessandro et al. | Experiments in voice quality modification of natural speech signals: the spectral approach. | |
| EP1846918B1 (fr) | Procede d'estimation d'une fonction de conversion de voix | |
| EP1895433A1 (fr) | Procédé d'estimation de phase pour la modélisation sinusoidale d'un signal numérique | |
| Kawahara et al. | Spectral envelope recovery beyond the nyquist limit for high-quality manipulation of speech sounds. | |
| FR2910996A1 (fr) | Codage d'unites acoustiques par interpolation | |
| EP1192619B1 (fr) | Codage et decodage audio par interpolation | |
| EP1194923B1 (fr) | Procedes et dispositifs d'analyse et de synthese audio | |
| EP1192618B1 (fr) | Codage audio avec liftrage adaptif | |
| EP1192621B1 (fr) | Codage audio avec composants harmoniques | |
| FR2796189A1 (fr) | Procedes et dispositifs de codage et de decodage audio | |
| WO2002082424A1 (fr) | Procede et dispositif d'extraction de parametres acoustiques d'un signal vocal | |
| Lee et al. | A source-filter based adaptive harmonic model and its application to speech prosody modification. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
| AX | Request for extension of the european patent |
Extension state: AL BA MK RS |
|
| 17P | Request for examination filed |
Effective date: 20081223 |
|
| 17Q | First examination report despatched |
Effective date: 20090204 |
|
| AKX | Designation fees paid |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D |
|
| REF | Corresponds to: |
Ref document number: 602008000802 Country of ref document: DE Date of ref document: 20100429 Kind code of ref document: P |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20100317 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100617 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| LTIE | Lt: invalidation of european patent or patent extension |
Effective date: 20100317 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100618 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100628 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100717 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100617 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| 26N | No opposition filed |
Effective date: 20101220 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| BERE | Be: lapsed |
Owner name: FRANCE TELECOM Effective date: 20110131 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110131 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110131 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120131 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120131 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20110114 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20100317 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100317 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 10 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20161228 Year of fee payment: 10 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20161221 Year of fee payment: 10 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20161219 Year of fee payment: 10 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 602008000802 Country of ref document: DE |
|
| GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20180114 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180801 Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180131 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20180928 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180114 |