WO2007048891A1 - System and method for synthesizing speech by concatenating acoustic units - Google Patents
System and method for synthesizing speech by concatenating acoustic units Download PDFInfo
- Publication number
- WO2007048891A1 WO2007048891A1 PCT/FR2006/002114 FR2006002114W WO2007048891A1 WO 2007048891 A1 WO2007048891 A1 WO 2007048891A1 FR 2006002114 W FR2006002114 W FR 2006002114W WO 2007048891 A1 WO2007048891 A1 WO 2007048891A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- acoustic units
- candidate
- candidate acoustic
- units
- criteria
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
Definitions
- the present invention relates to a system and method for voice synthesis by concatenating acoustic units.
- a text-to-speech string from the text includes the steps of
- phonetic transcription transforming the linguistic information into a phonetic string comprising a series of target acoustic units
- selection of the candidate acoustic units that is to say selection of the fragments of pre-recorded words that will be used for the synthesis
- the quality of the sound signal depends essentially on the choice of candidate acoustic units: it is a question of using the most appropriate fragments of words to obtain a "natural" sound signal.
- the selection of candidate acoustic units is based on a Viterbi algorithm. This determines the optimal sequence of the acoustic units to be used by calculating the optimal path in a graph, whose nodes are the candidate acoustic units and the arcs the transitions between the candidate acoustic units.
- the path is optimal in the sense of minimizing the sum of the costs associated with the nodes and arcs that make up the path.
- the cost associated with a candidate acoustic unit, node of the graph is called target cost and measures the adequacy between the candidate acoustic unit and the target acoustic unit.
- the cost associated with a transition, the arc of the graph is called the concatenation cost and measures the quality of the concatenation between the two candidate units that it links.
- US Patent Application 2003/0229494 RUTTEN and AL. proposes to involve an operator who, by successive iteration, adjusts the quality of the sentence produced.
- the method proposed for this request therefore consists of selecting, in a conventional manner, a series of candidate acoustic units, to make the operator thus listen to the sentence thus produced by the selection module, and then to adjust the parameters of the selection beforehand. relaunch a selection, ...
- the method and voice synthesis system proposed by this application have the disadvantage of requiring the operator to intervene on the parameters of the selection to obtain a solution.
- these parameters such as, for example, the parameters of the cost functions, do not always have direct and intuitive links with the result obtained. This requires, therefore, on the part of the operator, a long learning before being able to use such a system effectively.
- the object of the invention is therefore to remedy these drawbacks by proposing a system and a method of voice synthesis that are easy to implement.
- the object of the invention is a voice synthesis system by concatenation of acoustic units comprising:
- phonetic transcription means able to generate a series of target acoustic units, representative of the text to be synthesized
- each candidate acoustic unit comprising a prerecorded speech fragment
- preselection means capable of producing at least one stream of candidate acoustic units, each stream being preselected on the basis of a minimization of its overall cost, said overall cost being the sum of cost functions which determine the cost between each target acoustic unit and the candidate acoustic units and cost functions of the transitions between two candidate acoustic units, and
- interface means capable of enabling an operator to evaluate the auditory quality of each stream of preselected candidate acoustic units, characterized in that the preselection means are capable of producing a plurality of candidate acoustic unit streams having the best overall costs, and in that the interface means are able to allow an operator to compare the flow of preselected acoustic units and choose the flow whose auditory quality seems best.
- the preselection means uses an N-best algorithm to preselect the plurality of candidate acoustic unit streams
- the interface means comprise filtering means able to eliminate, from phonetic criteria, a subset of candidate acoustic unit streams from the plurality of preselected candidate acoustic unit streams;
- the phonetic criteria include, alone or in combination, criteria for the prohibition of the presence of an acoustic unit, the criteria for prohibiting the presence of a concatenation between two acoustic units, and criteria for prohibiting concatenation on a transition.
- Another object of the invention is a method of voice synthesis by concatenation of acoustic units comprising a prior step of storing candidate acoustic units, each candidate acoustic unit comprising a prerecorded speech fragment, and said method further comprising the steps from:
- each stream being preselected on the basis of minimizing its overall cost, said overall cost being the sum of cost functions which determine the cost between each target acoustic unit and the candidate acoustic units and cost functions of the transitions between two candidate acoustic units, and - evaluation by an operator of the auditory quality of each stream, and said method is characterized in that
- the preselection step is capable of producing a plurality of preselected candidate acoustic unit streams having the best overall costs
- the evaluation step consists, for the operator, in comparing the flow of preselected acoustic units and in choosing the flow whose auditory quality seems to him the best.
- the preselection step uses an N-best algorithm to preselect the plurality of candidate acoustic unit streams
- the evaluation step comprises a filtering step, based on phonetic criteria, capable of eliminating a subset of candidate acoustic unit streams from the plurality of preselected candidate acoustic unit streams;
- the phonetic criteria include, alone or in combination, criteria for the prohibition of the presence of an acoustic unit, the criteria for prohibiting the presence of a concatenation between two acoustic units, and criteria for prohibiting concatenation on a transition.
- Another object is a computer program product comprising program code instructions recorded on a computer readable medium, for implementing the speech synthesis method when said program is running on a computer.
- Another object is a computer-readable recording medium on which a computer program is recorded.
- FIG. 1 is a simplified diagram of a voice synthesis system according to the invention
- FIG. 2 is a flowchart of the method according to a preferred embodiment of the invention.
- FIG. 3 is a preselection diagram of the candidate acoustic units.
- FIG. 4 is a diagram of an interface screen with the voice synthesis system operator according to a preferred embodiment of the invention.
- a voice synthesis system 1 is intended to transform a text 2 into a sound stream 3.
- the text 2 is entered in the system 1 via input means 4 which transforms it into a file, typically the UNICODE standard.
- This file is processed by language processing means 5 for extracting text relevant information for synthesis by a linguistic analysis of the text.
- This linguistic information is used by the phonetic transcription means 6.
- This transcription not necessarily unique, is in the form of a series of target acoustic units, possibly augmented with additional information such as prosodic instructions or grammatical categories.
- the voice synthesis system 1 also comprises means 7 for storing candidate acoustic units, typically in the form of a database.
- candidate acoustic units mainly comprise prerecorded speech fragments. These fragments can correspond to phonemes, diphones, syllables, ...
- Each candidate acoustic unit represents a sound variation of a basic acoustic unit, for example variations of length, of timbre, ...
- the means 7 storage can contain more than 100,000 candidate acoustic units.
- the acoustic units will be assumed to be diphones.
- the storage means 7 are connected to preselection means 8 whose object is to produce at least one stream of candidate acoustic units.
- Each stream of candidate acoustic units is representative of the sequence of target acoustic units.
- a speech synthesis system produces only a single stream of acoustic units.
- An algorithm commonly used to produce this single stream is the Viterbi algorithm which minimizes the overall cost, the sum of the target costs and transition costs for the candidate acoustic units and the transitions of this stream.
- the preselection means 8 do not use the Viterbi algorithm since it only provides a single stream, the one having the best overall cost.
- the stream sequence produced by the preselection means 8 is the result of an N-best type algorithm which provides an ordered sequence of N streams whose first stream corresponds to the solution of the Viterbi algorithm. .
- the preselection means 8 are connected to interface means 9. These are connected to sound reproduction means 10 thus allowing an operator to listen, on demand, one of the flow of preselected acoustic units, and thus determine the one with the best hearing quality.
- the interface means 9 are also connected to viewing and input means 11 enabling the operator to view and select the different preselected flows.
- these interface means 9 comprise means 12 for filtering. These are adapted so that the operator, by using phonetic criteria, can eliminate subsets of flows among the preselected flows so as to limit the number of plays and comparisons to be made to choose the best flow. The operation of this system will now be explained with reference to FIG.
- step 20 The process starts in step 20.
- This linguistic information is used at 23 to classically produce a series of target acoustic units.
- a number N of streams of candidate acoustic units is selected at 24.
- FIG. 3 for the suite of four target acoustic units, is shown at 31 the set of possible graphs whose candidate acoustic units are the nodes 10-1, 10-2, 11-1, ...
- the stream 32 corresponds to the first solution. It corresponds to the flow of candidate acoustic units 10-1, 11-2, 12-1, 13-1.
- the stream 33 corresponds to the second solution. It is composed of candidate acoustic units 10-2, 11-1, 12-3, 13-3.
- All N preselected streams is stored in memory and made available to the user.
- a filter editing step 28 is optionally inserted into the listen / select loop.
- FIG. 40 For example, a simplified diagram of an interface screen is shown in FIG.
- the stream currently processed and listened to by the operator is represented at 40 with the following of the selected candidate acoustic units.
- buttons 41 and 42 By the use of the buttons 41 and 42, the operator switches to the previous flow or the next flow. He can also choose one of the streams he has already listened to and retained in the window 43.
- Line 47 summarizes all the filters used.
- filtering operations such as removing a concatenation correspond to a direct auditory analysis of the flows. It suffices to listen to a stream with such a concatenation, to notice that it is wrong, and thus to decide to eliminate all flows with this concatenation.
- This speech synthesis method can be implemented by a computer program running on a workstation type computer. This computer program is saved on a data medium readable by this computer.
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Circuit For Audible Band Transducer (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
Système et un procédé de synthèse vocale par concaténation d'unités acoustiques. System and method for voice synthesis by concatenation of acoustic units
La présente invention concerne un système et un procédé de synthèse vocale par concaténation d'unités acoustiques.The present invention relates to a system and method for voice synthesis by concatenating acoustic units.
La synthèse vocale par concaténation d'unités acoustiques utilise un certain nombre de principes connus.Concatenated vocal synthesis of acoustic units uses a number of known principles.
Typiquement, une chaîne de synthèse vocale à partir du texte comprend les étapes deTypically, a text-to-speech string from the text includes the steps of
- traitement linguistique permettant d'extraire du texte des informations pertinentes pour la synthèse,- linguistic processing to extract from the text relevant information for the synthesis,
- transcription phonétique transformant les informations linguistiques en une chaîne phonétique comportant une suite d'unités acoustiques cibles,phonetic transcription transforming the linguistic information into a phonetic string comprising a series of target acoustic units,
- sélection des unités acoustiques candidates, c'est-à-dire sélection des fragments de paroles préenregistrées qui seront utilisées pour la synthèse, etselection of the candidate acoustic units, that is to say selection of the fragments of pre-recorded words that will be used for the synthesis, and
- synthèse du signal consistant à concaténer les unités acoustiques candidates sélectionnées pour former le signal sonore demandé.signal synthesis consisting in concatenating the selected candidate acoustic units to form the requested sound signal.
La qualité du signal sonore dépend essentiellement du choix des unités acoustiques candidates : il s'agit d'utiliser les fragments de paroles les plus appropriés pour obtenir un signal sonore « naturel ».The quality of the sound signal depends essentially on the choice of candidate acoustic units: it is a question of using the most appropriate fragments of words to obtain a "natural" sound signal.
Traditionnellement, la sélection des unités acoustiques candidates est basée sur un algorithme de Viterbi. Celui-ci détermine la séquence optimale des unités acoustiques à utiliser en calculant le chemin optimal dans un graphe, graphe dont les nœuds sont les unités acoustiques candidates et les arcs les transitions entre les unités acoustiques candidates.Traditionally, the selection of candidate acoustic units is based on a Viterbi algorithm. This determines the optimal sequence of the acoustic units to be used by calculating the optimal path in a graph, whose nodes are the candidate acoustic units and the arcs the transitions between the candidate acoustic units.
Le chemin est optimal dans le sens d'une minimisation de la somme des coûts associés aux nœuds et aux arcs qui constituent le chemin. Le coût associé à une unité acoustique candidate, nœud du graphe, est appelé coût-cible et mesure l'adéquation entre l'unité acoustique candidate et l'unité acoustique cible. Le coût associé à une transition, arc du graphe, est appelé coût de concaténation et mesure la qualité de la concaténation entre les deux unités candidates qu'elle relie.The path is optimal in the sense of minimizing the sum of the costs associated with the nodes and arcs that make up the path. The cost associated with a candidate acoustic unit, node of the graph, is called target cost and measures the adequacy between the candidate acoustic unit and the target acoustic unit. The cost associated with a transition, the arc of the graph, is called the concatenation cost and measures the quality of the concatenation between the two candidate units that it links.
Ces différents coûts sont déterminés par des fonctions de coût permettant de les calculer pour chacun des arcs et nœuds du graphe. On conçoit aisément que, ces fonctions de coût étant censées représenter la qualité de la synthèse, leurs choix et leurs paramétrages ont une forte influence sur le résultat final.These different costs are determined by cost functions that make it possible to calculate them for each of the arcs and nodes of the graph. It is easy to see that these cost functions are supposed to represent the quality of the synthesis, their choices and their settings have a strong influence on the final result.
Pour synthétiser la « meilleure » phrase, perceptuellement parlant, la demande de brevet US 2003/0229494 de RUTTEN et AL. propose de faire intervenir un opérateur qui, par itération successive, ajuste la qualité de la phrase produite. Le procédé proposé pour cette demande, consiste donc à sélectionner de façon classique, une suite d'unités acoustiques candidates, à faire écouter par l'opérateur la phrase ainsi produite par le module de sélection, puis à ajuster les paramètres de la sélection avant de relancer une sélection,...To summarize the "best" sentence, perceptually speaking, US Patent Application 2003/0229494 RUTTEN and AL. proposes to involve an operator who, by successive iteration, adjusts the quality of the sentence produced. The method proposed for this request therefore consists of selecting, in a conventional manner, a series of candidate acoustic units, to make the operator thus listen to the sentence thus produced by the selection module, and then to adjust the parameters of the selection beforehand. relaunch a selection, ...
Le procédé est réitéré jusqu'à ce que l'opérateur obtienne une solution qui lui convienne.The process is repeated until the operator obtains a suitable solution.
Le procédé et le système de synthèse vocale proposés par cette demande présentent l'inconvénient d'obliger l'opérateur à intervenir sur les paramètres de la sélection pour obtenir une solution. Or ces paramètres, comme, par exemple, les paramètres des fonctions de coût, n'ont pas toujours de liens directs et intuitifs avec le résultat obtenu. Cela nécessite donc, de la part de l'opérateur, un long apprentissage avant d'être capable d'utiliser un tel système efficacement.The method and voice synthesis system proposed by this application have the disadvantage of requiring the operator to intervene on the parameters of the selection to obtain a solution. However, these parameters, such as, for example, the parameters of the cost functions, do not always have direct and intuitive links with the result obtained. This requires, therefore, on the part of the operator, a long learning before being able to use such a system effectively.
De plus, à chaque changement de paramètres, il est nécessaire de lancer une nouvelle étape de sélection qui est très consommatrice en ressources de calcul.Moreover, with each change of parameters, it is necessary to launch a new selection step which is very consuming in computing resources.
Le but de l'invention est donc de remédier à ces inconvénients en proposant un système et un procédé de synthèse vocale aisés à mettre en oeuvre.The object of the invention is therefore to remedy these drawbacks by proposing a system and a method of voice synthesis that are easy to implement.
L'objet de l'invention est un système de synthèse vocale par concaténation d'unités acoustiques comportant :The object of the invention is a voice synthesis system by concatenation of acoustic units comprising:
- des moyens de transcription phonétique aptes à générer une suite d'unités acoustiques cibles, représentative du texte à synthétiser,phonetic transcription means able to generate a series of target acoustic units, representative of the text to be synthesized,
- des moyens de stockage d'unités acoustiques candidates, chaque unité acoustique candidate comportant un fragment de parole préenregistrée,means for storing candidate acoustic units, each candidate acoustic unit comprising a prerecorded speech fragment,
- des moyens de présélection aptes à produire au moins un flux d'unités acoustiques candidates, chaque flux étant présélectionné sur la base d'une minimisation de son coût global, ledit coût global étant la somme de fonctions de coûts qui déterminent le coût entre chaque unité acoustique cible et les unités acoustiques candidates et de fonctions de coûts des transitions entre deux unités acoustiques candidates, etpreselection means capable of producing at least one stream of candidate acoustic units, each stream being preselected on the basis of a minimization of its overall cost, said overall cost being the sum of cost functions which determine the cost between each target acoustic unit and the candidate acoustic units and cost functions of the transitions between two candidate acoustic units, and
- des moyens d'interface aptes à permettre à un opérateur d'évaluer la qualité auditive de chaque flux d'unités acoustiques candidates présélectionné, caractérisé en ce que les moyens de présélection sont aptes à produire une pluralité de flux d'unités acoustiques candidates ayant les meilleurs coûts globaux, et en ce que les moyens d'interface sont aptes à permettre à un opérateur de comparer les flux d'unités acoustiques présélectionnés et de choisir le flux dont la qualité auditive lui paraît la meilleure.interface means capable of enabling an operator to evaluate the auditory quality of each stream of preselected candidate acoustic units, characterized in that the preselection means are capable of producing a plurality of candidate acoustic unit streams having the best overall costs, and in that the interface means are able to allow an operator to compare the flow of preselected acoustic units and choose the flow whose auditory quality seems best.
D'autres caractéristiques de l'invention sontOther features of the invention are
- les moyens de présélection utilisent un algorithme N-best pour présélectionner la pluralité de flux d'unités acoustiques candidates ;the preselection means uses an N-best algorithm to preselect the plurality of candidate acoustic unit streams;
- les moyens d'interface comportent des moyens de filtrage aptes à éliminer, à partir de critères phonétiques, un sous-ensemble de flux d'unités acoustiques candidates de la pluralité des flux d'unités acoustiques candidates présélectionnés ;the interface means comprise filtering means able to eliminate, from phonetic criteria, a subset of candidate acoustic unit streams from the plurality of preselected candidate acoustic unit streams;
- les critères phonétiques comportent, seuls ou en combinaison, des critères d'interdiction de présence d'une unité acoustique, des critères d'interdiction de présence d'une concaténation entre deux unités acoustiques, et des critères d'interdiction d'une concaténation sur une transition.- the phonetic criteria include, alone or in combination, criteria for the prohibition of the presence of an acoustic unit, the criteria for prohibiting the presence of a concatenation between two acoustic units, and criteria for prohibiting concatenation on a transition.
Un autre objet de l'invention est un procédé de synthèse vocale par concaténation d'unités acoustiques comportant une étape préalable de stockage d'unités acoustiques candidates, chaque unité acoustique candidate comportant un fragment de parole préenregistrée, et ledit procédé comportant en outre les étapes de :Another object of the invention is a method of voice synthesis by concatenation of acoustic units comprising a prior step of storing candidate acoustic units, each candidate acoustic unit comprising a prerecorded speech fragment, and said method further comprising the steps from:
- transcription phonétique apte à générer une suite d'unités acoustiques cibles représentative du texte à synthétiser,phonetic transcription capable of generating a series of target acoustic units representative of the text to be synthesized,
- présélection d'au moins un flux d'unités acoustiques candidates, chaque flux étant présélectionné sur la base d'une minimisation de son coût global, ledit coût global étant la somme de fonctions de coûts qui déterminent le coût entre chaque unité acoustique cible et les unités acoustiques candidates et de fonctions de coûts des transitions entre deux unités acoustiques candidates, et - évaluation par un opérateur de la qualité auditive de chaque flux, et ledit procédé est caractérisé en ce quepreselecting at least one stream of candidate acoustic units, each stream being preselected on the basis of minimizing its overall cost, said overall cost being the sum of cost functions which determine the cost between each target acoustic unit and the candidate acoustic units and cost functions of the transitions between two candidate acoustic units, and - evaluation by an operator of the auditory quality of each stream, and said method is characterized in that
- l'étape de présélection est apte à produire une pluralité de flux d'unités acoustiques candidates présélectionnées ayant les meilleurs coûts globaux, etthe preselection step is capable of producing a plurality of preselected candidate acoustic unit streams having the best overall costs, and
- l'étape d'évaluation consiste, pour l'opérateur, à comparer les flux d'unités acoustiques présélectionnés et à choisir le flux dont la qualité auditive lui paraît la meilleure.the evaluation step consists, for the operator, in comparing the flow of preselected acoustic units and in choosing the flow whose auditory quality seems to him the best.
D'autres caractéristiques de cet objet sontOther features of this object are
- l'étape de présélection utilise un algorithme N-best pour présélectionner la pluralité de flux d'unités acoustiques candidates ;the preselection step uses an N-best algorithm to preselect the plurality of candidate acoustic unit streams;
- l'étape d'évaluation comporte une étape de filtrage, à partir de critères phonétiques, apte à éliminer un sous-ensemble de flux d'unités acoustiques candidates de la pluralité des flux d'unités acoustiques candidates présélectionnés ;the evaluation step comprises a filtering step, based on phonetic criteria, capable of eliminating a subset of candidate acoustic unit streams from the plurality of preselected candidate acoustic unit streams;
- les critères phonétiques comportent, seuls ou en combinaison, des critères d'interdiction de présence d'une unité acoustique, des critères d'interdiction de présence d'une concaténation entre deux unités acoustiques, et des critères d'interdiction d'une concaténation sur une transition.- the phonetic criteria include, alone or in combination, criteria for the prohibition of the presence of an acoustic unit, the criteria for prohibiting the presence of a concatenation between two acoustic units, and criteria for prohibiting concatenation on a transition.
Un autre objet est un produit programme d'ordinateur comprenant des instructions de code de programme enregistré sur un support lisible par un ordinateur, pour mettre en œuvre le procédé de synthèse vocale lorsque ledit programme fonctionne sur un ordinateur.Another object is a computer program product comprising program code instructions recorded on a computer readable medium, for implementing the speech synthesis method when said program is running on a computer.
Un autre objet est un support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur.Another object is a computer-readable recording medium on which a computer program is recorded.
L'invention sera mieux comprise à la lecture de la description qui va suivre faite uniquement à titre d'exemple et en relation avec les dessins en annexe dans lesquels :The invention will be better understood on reading the description which follows, given solely by way of example and in relation to the appended drawings in which:
- la figure 1 est un schéma simplifié d'un système de synthèse vocale selon l'invention ;FIG. 1 is a simplified diagram of a voice synthesis system according to the invention;
- la figure 2 est un ordinogramme du procédé selon un mode de réalisation préféré de l'invention ; - la figure 3 est un schéma de présélection des unités acoustiques candidates ; etFIG. 2 is a flowchart of the method according to a preferred embodiment of the invention; FIG. 3 is a preselection diagram of the candidate acoustic units; and
- la figure 4 est un schéma d'un écran d'interface avec l'opérateur du système de synthèse vocale selon un mode de réalisation préféré de l'invention.FIG. 4 is a diagram of an interface screen with the voice synthesis system operator according to a preferred embodiment of the invention.
En référence à la figure 1 , un système 1 de synthèse vocale est destiné à transformer un texte 2 en un flux sonore 3.With reference to FIG. 1, a voice synthesis system 1 is intended to transform a text 2 into a sound stream 3.
Le texte 2 est entré dans le système 1 par l'intermédiaire de moyens de saisie 4 qui le transforme en un fichier, typiquement au standard UNICODE.The text 2 is entered in the system 1 via input means 4 which transforms it into a file, typically the UNICODE standard.
Ce fichier est traité par des moyens 5 de traitements linguistiques permettant d'extraire du texte des informations pertinentes pour la synthèse par une analyse linguistique du texte.This file is processed by language processing means 5 for extracting text relevant information for synthesis by a linguistic analysis of the text.
Ces informations linguistiques sont utilisées par les moyens 6 de transcription phonétique. Cette transcription, non nécessairement unique, se présente sous la forme d'une suite d'unités acoustiques cibles, éventuellement augmentée d'informations supplémentaires telles que des consignes prosodiques ou des catégories grammaticales.This linguistic information is used by the phonetic transcription means 6. This transcription, not necessarily unique, is in the form of a series of target acoustic units, possibly augmented with additional information such as prosodic instructions or grammatical categories.
Ces moyens 4, 5 et 6 permettant d'obtenir une suite d'unités acoustiques cibles sont bien connus de l'homme du métier et ne seront pas décrits plus en détail. Des informations complémentaires sur ces moyens peuvent être trouvées, par exemple, dans la demande de brevet US 2003/0229494 précitée.These means 4, 5 and 6 for obtaining a series of target acoustic units are well known to those skilled in the art and will not be described in more detail. Further information on these means can be found, for example, in the aforementioned US patent application 2003/0229494.
Le système 1 de synthèse vocale comporte également des moyens 7 de stockage d'unités acoustiques candidates typiquement sous forme d'une base de données. Ces unités acoustiques candidates comportent principalement des fragments de paroles préenregistrées. Ces fragments peuvent correspondre à des phonèmes, des diphones, des syllabes, ... Chaque unité acoustique candidate représente une variation sonore d'une unité acoustique de base, par exemple des variations de longueur, de timbre, ... Typiquement, les moyens 7 de stockage peuvent contenir plus de 100 000 unités acoustiques candidates.The voice synthesis system 1 also comprises means 7 for storing candidate acoustic units, typically in the form of a database. These candidate acoustic units mainly comprise prerecorded speech fragments. These fragments can correspond to phonemes, diphones, syllables, ... Each candidate acoustic unit represents a sound variation of a basic acoustic unit, for example variations of length, of timbre, ... Typically, the means 7 storage can contain more than 100,000 candidate acoustic units.
Dans la description qui suit, et à titre purement illustratif, les unités acoustiques seront supposées être des diphones.In the following description, and purely illustrative, the acoustic units will be assumed to be diphones.
Les moyens 7 de stockage sont reliés à des moyens 8 de présélection dont l'objet est de produire au moins un flux d'unités acoustiques candidates. Chaque flux d'unités acoustiques candidates est représentatif de la suite d'unités acoustiques cibles.The storage means 7 are connected to preselection means 8 whose object is to produce at least one stream of candidate acoustic units. Each stream of candidate acoustic units is representative of the sequence of target acoustic units.
Habituellement, un système de synthèse vocale ne produit qu'un seul flux d'unités acoustiques. Un algorithme communément utilisé pour produire cet unique flux est l'algorithme de Viterbi qui minimise le coût global, somme des coûts-cible et des coûts de transition pour les unités acoustiques candidates et les transitions de ce flux.Usually, a speech synthesis system produces only a single stream of acoustic units. An algorithm commonly used to produce this single stream is the Viterbi algorithm which minimizes the overall cost, the sum of the target costs and transition costs for the candidate acoustic units and the transitions of this stream.
Des exemples de fonctions de coût utilisables dans le cadre de cet algorithme de Viterbi sont décrits dans « Perceptual and Objective Détection of discontinuities in concatenative Speech synthesis », Yannis Stylianou and Ann K. Syrdal, ICASSP 2001.Examples of cost functions that can be used in the context of this Viterbi algorithm are described in "Perceptual and Objective Detection of Discontinuities in Concatenative Speech Synthesis", Yannis Stylianou and Ann K. Syrdal, ICASSP 2001.
Pour cela, les moyens 8 de présélection n'utilisent pas que l'algorithme de Viterbi puisque celui-ci ne fournit qu'un seul flux, celui ayant le meilleur coût global. A titre purement illustratif, la suite de flux produite par les moyens 8 de présélection est le résultat d'un algorithme de type N-best qui fournit une suite ordonnée de N flux dont le premier flux correspond à la solution de l'algorithme de Viterbi.For this, the preselection means 8 do not use the Viterbi algorithm since it only provides a single stream, the one having the best overall cost. For purely illustrative purposes, the stream sequence produced by the preselection means 8 is the result of an N-best type algorithm which provides an ordered sequence of N streams whose first stream corresponds to the solution of the Viterbi algorithm. .
Deux exemples de ce type d'algorithme sont décrits dans « A comparison of two Exact Algorithms for finding the N-Best Sentence Hypothèse in Continuous Speech Récognition », V.M. Jimenez, A. Marzal, J. Monné, Eurospeech 1995.Two examples of this type of algorithm are described in "A Comparison of Two Exact Algorithms for Finding the N-Best Sentence Hypothesis in Continuous Speech Recognition", V. M. Jimenez, A. Marzal, J. Monné, Eurospeech 1995.
Les moyens 8 de présélection sont connectés à des moyens 9 d'interface. Ceux-ci sont connectés à des moyens 10 de restitution sonore permettant ainsi à un opérateur d'écouter, à la demande, un des flux d'unités acoustiques présélectionnés, et de déterminer ainsi celui qui a la meilleure qualité auditive.The preselection means 8 are connected to interface means 9. These are connected to sound reproduction means 10 thus allowing an operator to listen, on demand, one of the flow of preselected acoustic units, and thus determine the one with the best hearing quality.
Les moyens 9 d'interface sont également connectés à des moyens 11 de visualisation et de saisie permettant à l'opérateur de visualiser et de sélectionner les différents flux présélectionnés.The interface means 9 are also connected to viewing and input means 11 enabling the operator to view and select the different preselected flows.
De manière préférentielle, ces moyens 9 d'interface comportent des moyens 12 de filtrage. Ceux-ci sont adaptés pour que l'opérateur, par utilisation de critères phonétiques, puisse éliminer des sous-ensembles de flux parmi les flux présélectionnés de façon à limiter le nombre d'écoutes et de comparaisons à effectuer pour choisir le meilleur flux. Le fonctionnement de ce système va maintenant être explicité en référence à la figure 2.Preferably, these interface means 9 comprise means 12 for filtering. These are adapted so that the operator, by using phonetic criteria, can eliminate subsets of flows among the preselected flows so as to limit the number of plays and comparisons to be made to choose the best flow. The operation of this system will now be explained with reference to FIG.
Le procédé démarre à l'étape 20.The process starts in step 20.
La saisie d'un texte est effectuée à l'étape 21.Entering text is done in step 21.
Celui-ci est traité en 22 pour en extraire des informations linguistiques.This is processed in 22 to extract language information.
Ces informations linguistiques sont utilisées en 23 pour produire classiquement une suite d'unités acoustiques cibles.This linguistic information is used at 23 to classically produce a series of target acoustic units.
Par utilisation de l'algorithme de présélection, on sélectionne en 24 un nombre N de flux d'unités acoustiques candidates.By using the preselection algorithm, a number N of streams of candidate acoustic units is selected at 24.
Par exemple, figure 3, pour la suite 30 de quatre unités acoustiques cibles, on a représenté en 31 l'ensemble des graphes possibles dont les unités acoustiques candidates sont les nœuds 10-1 , 10-2, 11-1 ,...For example, FIG. 3, for the suite of four target acoustic units, is shown at 31 the set of possible graphs whose candidate acoustic units are the nodes 10-1, 10-2, 11-1, ...
Le flux 32, représenté en trait plein épais, correspond à la première solution. Il correspond au flux des unités acoustiques candidates 10-1 , 11-2, 12- 1 , 13-1.The stream 32, shown as a thick solid line, corresponds to the first solution. It corresponds to the flow of candidate acoustic units 10-1, 11-2, 12-1, 13-1.
Le flux 33, représenté en traits pointillés épais, correspond à la deuxième solution. Il est composé des unités acoustiques candidates 10-2, 11-1 , 12-3, 13-3.The stream 33, shown in thick dashed lines, corresponds to the second solution. It is composed of candidate acoustic units 10-2, 11-1, 12-3, 13-3.
L'ensemble des N flux ainsi présélectionnés est stocké en mémoire et rendu disponible à l'utilisateur.All N preselected streams is stored in memory and made available to the user.
Celui-ci écoute en 25, figure 2, un des flux présélectionné.This listens in 25, Figure 2, a preselected flow.
S'il est satisfait par la qualité de ce flux en 26, alors le procédé est terminé en 27.If it is satisfied by the quality of this flux at 26, then the process is finished at 27.
Par contre, si le flux écouté n'est pas satisfaisant, un autre flux est écouté en 25 jusqu'à l'écoute d'un flux de bonne qualité.On the other hand, if the stream being listened to is not satisfactory, another stream is listened to until listening to a stream of good quality.
On conçoit que cette écoute successive peut être longue et fastidieuse. Aussi, il est avantageux d'offrir à l'utilisateur une interface permettant de filtrer l'ensemble des flux selon des critères phonétiques modifiables par l'utilisateur.It is understandable that this successive listening can be long and tedious. Also, it is advantageous to offer the user an interface for filtering all flows according to phonetic criteria modifiable by the user.
Ainsi, une étape 28 d'édition des filtres est, de manière facultative, insérée dans la boucle d'écoute / sélection.Thus, a filter editing step 28 is optionally inserted into the listen / select loop.
A titre d'exemple, un schéma simplifié d'un écran d'interface est représenté en figure 4. Le flux actuellement traité et écouté par l'opérateur est représenté en 40 avec la suite des unités acoustiques candidates sélectionnées.For example, a simplified diagram of an interface screen is shown in FIG. The stream currently processed and listened to by the operator is represented at 40 with the following of the selected candidate acoustic units.
Par l'utilisation des boutons 41 et 42, l'opérateur passe au flux précédent ou au flux suivant. Il peut également choisir un des flux qu'il a déjà écouté et retenu dans la fenêtre 43.By the use of the buttons 41 and 42, the operator switches to the previous flow or the next flow. He can also choose one of the streams he has already listened to and retained in the window 43.
Il dispose d'opérations de filtrage pour contraindre les propriétés des flux qu'il veut visionner ou écouter.It has filtering operations to constrain the properties of the streams it wants to view or listen to.
Parmi les opérations de filtrage à sa disposition, il peutAmong the filtering operations at his disposal, he can
- interdire en 44 la présence d'une unité dans les flux filtrés. Par exemple, il peut interdire la présence de l'unité acoustique 10-4,prohibit at 44 the presence of a unit in the filtered flows. For example, it can prohibit the presence of the acoustic unit 10-4,
- interdire en 45 la présence d'une concaténation entre deux unités acoustiques dans les flux filtrés. Par exemple, il peut interdire la transition entre les unités 11-2 et 12-1 ,prohibit at 45 the presence of a concatenation between two acoustic units in the filtered flows. For example, it can prohibit the transition between units 11-2 and 12-1,
- interdire en 46 toute concaténation sur une transition. Par exemple, il peut interdire toute concaténation entre les états acoustiques 12 et 13. Les seuls flux autorisés auront alors nécessairement, pour cette transition, deux unités adjacentes dans la base.- prohibit at 46 any concatenation on a transition. For example, it can prohibit any concatenation between the acoustic states 12 and 13. The only authorized flows will then necessarily have, for this transition, two adjacent units in the base.
La ligne 47 résume l'ensemble des filtres utilisés.Line 47 summarizes all the filters used.
On conçoit qu'il est possible de combiner plusieurs filtres selon une logique booléenne.It is conceivable that it is possible to combine several filters according to a Boolean logic.
On a ainsi décrit un système et un procédé de synthèse vocale par concaténation d'unités acoustiques aisées à manipuler puisque l'opérateur n'a pas à attendre que des calculs d'optimisation soient faits pour comparer deux flux. En effet, tous les calculs sont faits lors de l'étape de présélection et sont donc effectués sans que l'opérateur n'intervienne.Thus, a system and method of voice synthesis by concatenation of acoustic units that are easy to manipulate has been described since the operator does not have to wait for optimization calculations to be made to compare two streams. Indeed, all the calculations are made during the preselection step and are therefore performed without the operator intervenes.
De plus, les opérations de filtrage telles que la suppression d'une concaténation correspondent à une analyse auditive directe des flux. Il suffit en effet d'écouter un flux comportant une telle concaténation, de s'apercevoir qu'elle est mal sonnante, et donc de décider d'éliminer tous les flux comportant cette concaténation.In addition, filtering operations such as removing a concatenation correspond to a direct auditory analysis of the flows. It suffices to listen to a stream with such a concatenation, to notice that it is wrong, and thus to decide to eliminate all flows with this concatenation.
Ce procédé de synthèse vocale peut être mis en œuvre par un programme d'ordinateur fonctionnant sur un ordinateur de type station de travail. Ce programme d'ordinateur est enregistré sur un support de données lisible par cet ordinateur. This speech synthesis method can be implemented by a computer program running on a workstation type computer. This computer program is saved on a data medium readable by this computer.
Claims
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE602006006094T DE602006006094D1 (en) | 2005-10-24 | 2006-09-14 | SYSTEM AND METHOD FOR LANGUAGE SYNTHESIS BY CHAINING ACOUSTIC UNITS |
| EP06808137A EP1952388B1 (en) | 2005-10-24 | 2006-09-14 | System and method for synthesizing speech by concatenating acoustic units |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0510831 | 2005-10-24 | ||
| FR0510831A FR2892555A1 (en) | 2005-10-24 | 2005-10-24 | SYSTEM AND METHOD FOR VOICE SYNTHESIS BY CONCATENATION OF ACOUSTIC UNITS |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2007048891A1 true WO2007048891A1 (en) | 2007-05-03 |
Family
ID=36013299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/FR2006/002114 Ceased WO2007048891A1 (en) | 2005-10-24 | 2006-09-14 | System and method for synthesizing speech by concatenating acoustic units |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP1952388B1 (en) |
| AT (1) | ATE427545T1 (en) |
| DE (1) | DE602006006094D1 (en) |
| ES (1) | ES2325132T3 (en) |
| FR (1) | FR2892555A1 (en) |
| WO (1) | WO2007048891A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010047259A1 (en) * | 2000-03-31 | 2001-11-29 | Yasuo Okutani | Speech synthesis apparatus and method, and storage medium |
| US20020013707A1 (en) * | 1998-12-18 | 2002-01-31 | Rhonda Shaw | System for developing word-pronunciation pairs |
| US20030055641A1 (en) * | 2001-09-17 | 2003-03-20 | Yi Jon Rong-Wei | Concatenative speech synthesis using a finite-state transducer |
| US20030088416A1 (en) * | 2001-11-06 | 2003-05-08 | D.S.P.C. Technologies Ltd. | HMM-based text-to-phoneme parser and method for training same |
| US20030229494A1 (en) * | 2002-04-17 | 2003-12-11 | Peter Rutten | Method and apparatus for sculpting synthesized speech |
-
2005
- 2005-10-24 FR FR0510831A patent/FR2892555A1/en not_active Withdrawn
-
2006
- 2006-09-14 EP EP06808137A patent/EP1952388B1/en active Active
- 2006-09-14 DE DE602006006094T patent/DE602006006094D1/en not_active Expired - Fee Related
- 2006-09-14 ES ES06808137T patent/ES2325132T3/en active Active
- 2006-09-14 WO PCT/FR2006/002114 patent/WO2007048891A1/en not_active Ceased
- 2006-09-14 AT AT06808137T patent/ATE427545T1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020013707A1 (en) * | 1998-12-18 | 2002-01-31 | Rhonda Shaw | System for developing word-pronunciation pairs |
| US20010047259A1 (en) * | 2000-03-31 | 2001-11-29 | Yasuo Okutani | Speech synthesis apparatus and method, and storage medium |
| US20030055641A1 (en) * | 2001-09-17 | 2003-03-20 | Yi Jon Rong-Wei | Concatenative speech synthesis using a finite-state transducer |
| US20030088416A1 (en) * | 2001-11-06 | 2003-05-08 | D.S.P.C. Technologies Ltd. | HMM-based text-to-phoneme parser and method for training same |
| US20030229494A1 (en) * | 2002-04-17 | 2003-12-11 | Peter Rutten | Method and apparatus for sculpting synthesized speech |
Also Published As
| Publication number | Publication date |
|---|---|
| DE602006006094D1 (en) | 2009-05-14 |
| EP1952388B1 (en) | 2009-04-01 |
| ATE427545T1 (en) | 2009-04-15 |
| FR2892555A1 (en) | 2007-04-27 |
| EP1952388A1 (en) | 2008-08-06 |
| ES2325132T3 (en) | 2009-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3984207B2 (en) | Speech recognition evaluation apparatus, speech recognition evaluation method, and speech recognition evaluation program | |
| US7966186B2 (en) | System and method for blending synthetic voices | |
| FR2554623A1 (en) | SPEAKER-INDEPENDENT SPEECH ANALYSIS PROCESS | |
| FR2683367A1 (en) | METHODS OF ENCODING SPEECH SEGMENTS AND HEIGHT CONTROL FOR SPEECH SYNTHESIS SYSTEMS. | |
| WO2012009045A1 (en) | Modification of speech quality in conversations over voice channels | |
| JP4523257B2 (en) | Audio data processing method, program, and audio signal processing system | |
| JP7681266B2 (en) | Spoken dialogue reconstruction method, spoken dialogue reconstruction device, recording medium and computer program | |
| EP2215626A1 (en) | Automatic simultaneous interpretation system | |
| WO2018146305A1 (en) | Method and apparatus for dynamic modifying of the timbre of the voice by frequency shift of the formants of a spectral envelope | |
| CN108242238A (en) | Audio file generation method and device and terminal equipment | |
| Conkie et al. | Preselection of candidate units in a unit selection-based text-to-speech synthesis system. | |
| EP1426926A2 (en) | Apparatus and method for changing the playback rate of recorded speech | |
| EP1543502B1 (en) | Voice recognition method with automatic correction | |
| EP1952388B1 (en) | System and method for synthesizing speech by concatenating acoustic units | |
| KR20200145776A (en) | Method, apparatus and program of voice correcting synthesis | |
| JP2003513311A (en) | A method for determining the temporal characteristics of the fundamental frequency of the speech response to be synthesized. | |
| JP3803302B2 (en) | Video summarization device | |
| JP2007178686A (en) | Audio converter | |
| CN117275457A (en) | Voice conversion method, system and storage medium | |
| JP4564416B2 (en) | Speech synthesis apparatus and speech synthesis program | |
| EP1803116B1 (en) | Voice recognition method comprising a temporal marker insertion step and corresponding system | |
| EP1836699A1 (en) | Method and device for carrying out optimal coding between two long-term prediction models | |
| EP1846918B1 (en) | Method of estimating a voice conversion function | |
| EP1960996B1 (en) | Voice synthesis by concatenation of acoustic units | |
| JPH10143193A (en) | Audio signal processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2006808137 Country of ref document: EP |
|
| WWP | Wipo information: published in national office |
Ref document number: 2006808137 Country of ref document: EP |