[go: up one dir, main page]

WO2017135148A1 - 音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラム - Google Patents

音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラム Download PDF

Info

Publication number
WO2017135148A1
WO2017135148A1 PCT/JP2017/002740 JP2017002740W WO2017135148A1 WO 2017135148 A1 WO2017135148 A1 WO 2017135148A1 JP 2017002740 W JP2017002740 W JP 2017002740W WO 2017135148 A1 WO2017135148 A1 WO 2017135148A1
Authority
WO
WIPO (PCT)
Prior art keywords
acoustic
parameter
acoustic model
feature
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/002740
Other languages
English (en)
French (fr)
Inventor
マーク デルクロア
慶介 木下
小川　厚徳
拓也 吉岡
中谷　智広
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017565514A priority Critical patent/JP6637078B2/ja
Priority to US16/074,367 priority patent/US11264044B2/en
Priority to CN201780009153.4A priority patent/CN108701452B/zh
Publication of WO2017135148A1 publication Critical patent/WO2017135148A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Definitions

  • the present invention relates to an acoustic model learning method, a speech recognition method, an acoustic model learning device, a speech recognition device, an acoustic model learning program, and a speech recognition program.
  • HMM Hidden Markov Model
  • the recognition voice data often does not match the characteristics with the learning voice data due to ambient noise and speaker diversity. That is, the mismatch of acoustic conditions such as the acoustic environment including ambient noise in which each of the learning voice data and the recognition voice data is placed and speaker characteristics that are characteristics of each speaker lowers the voice recognition accuracy. For this reason, the voice recognition technology is required to be robust against acoustic conditions.
  • a robust speech recognition technique a technique is known in which parameters of an acoustic model are learned by re-estimation using adaptive data so that the speech data for recognition matches the acoustic model (see, for example, Non-Patent Document 2).
  • an error back-propagation method or the like is widely used (see, for example, Non-Patent Document 3).
  • the acoustic condition for placing the acoustic data for learning the acoustic model is not necessarily the same as the acoustic condition for placing the recognition speech data, and therefore there is a mismatch between the acoustic model and the speech feature amount during speech recognition. As a result, the accuracy of voice recognition is reduced.
  • the parameters of the acoustic model are adapted using adaptation data under the same acoustic conditions as the speech data for recognition.
  • the voice used for parameter estimation requires a label (for example, speaker ID, transcription, etc.) that expresses the voice. Therefore, when adapting the parameters of the acoustic model to the observed recognition speech data, enormous calculation is required, and there is a problem that high-speed parameter adaptation cannot be performed.
  • an example of an embodiment disclosed in the present application is to achieve parameter adaptation of an acoustic model with high accuracy and high speed during speech recognition.
  • the acoustic model learning method of the present invention includes a feature amount extraction step for extracting a feature amount indicating a feature of speech data, an acoustic condition calculation model parameter that characterizes a calculation model of an acoustic condition represented by a neural network, and the feature amount. Based on the acoustic condition feature amount calculation step for calculating the acoustic condition feature amount indicating the acoustic condition feature of the audio data using the acoustic condition calculation model, and an output layer of the acoustic condition calculation model are combined.
  • An acoustic model parameter correcting step for generating a corrected parameter that is a parameter obtained by correcting an acoustic model parameter that characterizes the acoustic model represented by the neural network based on the acoustic condition feature amount; and the corrected parameter and the feature amount
  • An acoustic model parameter updating step for updating the acoustic model parameter based on An acoustic condition calculation model parameter updating process based on positive post parameter and the characteristic quantity updating the acoustic condition calculation model parameters, characterized in that it contains.
  • the acoustic model learning device includes a feature amount extraction unit that extracts a feature amount indicating a feature of speech data, an acoustic condition calculation model parameter that characterizes a calculation model of an acoustic condition represented by a neural network, and the feature
  • An acoustic condition feature amount calculation unit that calculates an acoustic condition feature amount indicating the acoustic condition feature of the audio data based on the amount using a calculation model of the acoustic condition, and an output layer of the acoustic condition calculation model includes: An acoustic model parameter that characterizes the combined acoustic model, an acoustic model parameter correction unit that generates a corrected parameter that is a parameter corrected based on the acoustic condition feature amount, and the correction parameter and the feature amount
  • An acoustic model parameter updating unit for updating an acoustic model parameter, the corrected parameter and the feature amount; Wherein characterized in that it has an acoustic condition calculation
  • parameter adaptation of an acoustic model can be realized with high accuracy and high speed during speech recognition.
  • FIG. 1 is a diagram illustrating an example of a configuration of a speech recognition apparatus according to a first conventional technique.
  • FIG. 2 is a diagram illustrating an example of an outline of processing according to the first conventional technique.
  • FIG. 3 is a flowchart showing an example of a speech recognition process according to the first conventional technique.
  • FIG. 4 is a diagram illustrating an example of the configuration of a speech recognition apparatus according to the second conventional technique.
  • FIG. 5 is a flowchart showing an example of a voice recognition process according to the second prior art.
  • FIG. 6 is a diagram illustrating an example of a configuration of an acoustic model relearning apparatus according to the third related art.
  • FIG. 7 is a flowchart showing an example of a speech model relearning process according to the third prior art.
  • FIG. 8 is a diagram illustrating an example of an outline of a conventional acoustic condition adaptive acoustic model.
  • FIG. 9 is a diagram illustrating an example of an outline of the acoustic condition adaptive acoustic model according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of the configuration of the acoustic model learning device according to the embodiment.
  • FIG. 11 is a flowchart illustrating an example of the acoustic model learning process according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of the configuration of the speech recognition apparatus according to the embodiment.
  • FIG. 13 is a flowchart illustrating an example of a voice recognition process according to the embodiment.
  • FIG. 14 is a diagram illustrating an example of a computer that realizes the acoustic model learning device and the speech recognition device according to the embodiment by executing a program.
  • exemplary embodiments of the acoustic model learning method, the speech recognition method, the acoustic model learning device, the speech recognition device, the acoustic model learning program, and the speech recognition program disclosed in the present application the exemplary embodiment is assumed. Prior art will be described. Thereafter, an example of an embodiment of an acoustic model learning method, a speech recognition method, an acoustic model learning device, a speech recognition device, an acoustic model learning program, and a speech recognition program disclosed in the present application will be described.
  • A when A is a vector, it is expressed as “vector A”, when A is a matrix, for example, it is expressed as “matrix A”, and when A is a scalar, for example, it is simply “ A ".
  • A when A is a set, it is expressed as “set A”.
  • the function f of the vector A is expressed as f (vector A).
  • ⁇ A when “ ⁇ A” is described for A which is a vector, matrix or scalar, it is equivalent to “a symbol in which“ ⁇ ”is written immediately above“ A ””.
  • a T denotes the transpose of A.
  • FIG. 1 is a diagram illustrating an example of a configuration of a speech recognition apparatus according to a first conventional technique.
  • the speech recognition apparatus 20a according to the first prior art includes a feature amount extraction unit 201a, an HMM state output probability calculation unit 205a, and a word string search unit 206a.
  • the voice recognition device 20a is connected to the storage unit 250a.
  • the storage unit 250a stores an acoustic model and a language model in advance.
  • the acoustic model is a model of acoustic features of speech.
  • the language model is composed of a large number of symbol sequences such as phonemes and words. For example, it can be said that the language model is a model of a word string generation probability.
  • an acoustic model for speech recognition is a left-to-right HMM for each phoneme, and includes an output probability distribution of each state of the HMM calculated by a neural network (hereinafter referred to as NN (Neural Network)). .
  • NN Neurological Network
  • the acoustic model stored in the storage unit 250a includes the state transition probability of the HMM for each symbol of the phoneme, etc., the weight matrix for the i-th hidden layer W i and the bias vector b i, a parameter such as the activation function It is a parameter of NN.
  • i is the index of the hidden layer.
  • the language model is composed of a large number of symbol sequences S j such as phonemes and words, and P (S j ) is a probability (language probability) of the symbol sequence S j obtained by the language model.
  • the symbol series S j is a series of symbols composed of phonemes, words, and the like that can be a speech recognition result.
  • the feature quantity extraction unit 201a reads the recognition voice data and extracts the voice feature quantity from the recognition voice data.
  • Features include, for example, MFCC (Mel Frequency Cepstral Coefficient), LMFC (log Mel Filterbank coefficients), ⁇ MFCC (MFCC one-time differentiation), ⁇ MFCC (MFCC two-time differentiation), logarithmic (spectrum) power, and ⁇ log power (Logarithmic power single derivative).
  • the feature extraction unit 201a concatenates the feature amount obtained from each consecutive frames of the frame and its front and rear about 5 frames for each frame, the sequence feature vector o n (n time of about 10-2000 dimensional , 1,..., N natural numbers). Then, the feature extraction unit 201a, as described below (1), and generates a feature vector O summarizes the series feature vector o n time for all frames.
  • the feature vector O is data represented by a D-dimensional vector from the first to the Nth frame. For example, the frame length is about 30 ms, and the frame shift length is about 10 ms.
  • the output probability calculation unit 205a of the HMM state reads the acoustic model parameter ⁇ from the storage unit 250a, and calculates the output probability of each HMM state of the acoustic model for each frame n of the feature vector O based on the read acoustic model parameter ⁇ . To do.
  • the output probability of the HMM state is described in Reference 1 “G. Hinton et al.,“ Deep Neural Networks for Acoustic Modeling in Speech Recognition, The shared views of four research groups, ”IEEE SIGNAL PROCESSING MAGAZINE, Vol. 29, No. 6, for example. , pp. 82-97, 2012. ”is the output of the neural network represented by the equation (2).
  • a neural network representing an acoustic model for speech recognition in the prior art has one or more hidden layers between an input and an output. Input of the neural network, when a series feature vector o n, is input to the foremost stage of the hidden layer.
  • the output of the neural network is the output probability of the HMM state by the last hidden layer.
  • the calculation in each hidden layer performed by the output probability calculation unit 205a in the HMM state includes two processes: a process using linear transformation and a process using an activation function.
  • the linear transformation in each hidden layer is expressed by the following equation (2).
  • the vector x 0, n is a sequence feature vector o n when an input of the neural network.
  • the output of the activation function is as shown in the following equation (3).
  • the vector x i, n is the output of the i-th hidden layer
  • ⁇ is an activation function such as a sigmoid function
  • the elements of the ⁇ (vector z i, n ) vector Calculated every time. That is, the output probability calculation unit 205a in the HMM state performs the above (2) for the vector x i ⁇ 1, n that is the output of the (i ⁇ 1) th hidden layer that is the preceding hidden layer in the i th hidden layer.
  • the vector x i, n that is the result of performing the processing according to the above equation (2) on the vector z i, n that is the result of performing the linear transformation according to the equation) is output.
  • the word string search unit 206a generates J (J is a natural number) conflict candidate symbol sequences Sj based on the output probabilities of the respective HMM states calculated by the HMM state output probability calculation unit 205a, and the conflict candidate symbol sequences For each S j , an acoustic score indicating the likelihood of matching with the acoustic model is calculated.
  • the symbol is, for example, a phoneme.
  • j 1, 2,..., J.
  • the word string search unit 206a calculates a language score indicating the likelihood of matching with the language model for each conflict candidate symbol series Sj .
  • the word string search unit 206a is most probable as a word string corresponding to the speech data for recognition from among the J conflict candidate symbol sequences Sj. Then, the opponent candidate symbol series having the highest score obtained by integrating the language scores is searched from the language model stored in the storage unit 250a, and the searched opponent candidate symbol series is output as a word string ⁇ S as a recognition result.
  • FIG. 3 is a flowchart showing an example of a speech recognition process according to the first conventional technique.
  • the speech recognition apparatus 20a reads the acoustic model parameter ⁇ from the storage unit 250a (step S201a).
  • the speech recognition apparatus 20a reads a language model from the storage unit 250a (step S202a).
  • the voice recognition device 20a reads the voice data for recognition (step S203a).
  • the speech recognition apparatus 20a extracts a feature amount of speech from the read recognition speech data, and generates a feature amount vector O (step S204a).
  • the speech recognition apparatus 20a calculates the output probability of each HMM state of the acoustic model for each frame n of the feature vector O based on the read acoustic model parameter ⁇ (step S205a).
  • the voice recognition device 20a based on the output probability of each HMM state of being calculated by the output probability calculation unit 205a of the HMM state, generates a conflict candidate symbol sequence S j, acoustic score alleles candidate symbol for each series S j
  • the opponent candidate symbol series having the highest score obtained by integrating the language scores is searched from the language model stored in the storage unit 250a (step S206a).
  • the speech recognition apparatus 20a outputs the search result in step S206a as a word string ⁇ S that is the recognition result (step S207a).
  • acoustic model correction a second conventional technique for performing speech recognition by correcting (re-estimating) parameters of the acoustic model (hereinafter referred to as acoustic model correction) in order to match the acoustic model with the feature amount at the time of recognition.
  • the second conventional technology is, for example, a speech recognition technology described in Reference 2 “H.
  • FIG. 4 is a diagram showing an example of the configuration of a speech recognition apparatus according to the second prior art.
  • the speech recognition apparatus 20b according to the second prior art that performs acoustic model correction includes a feature amount extraction unit 201b, an HMM state output probability calculation unit 205b, and a word string search unit 206b.
  • the voice recognition device 20b is connected to the storage unit 250b.
  • the storage unit 250b is the same as the storage unit 250a of the first prior art, but stores the corrected acoustic model parameters for the stored acoustic model.
  • the feature quantity extraction unit 201b reads the recognition voice data and generates a feature quantity vector O.
  • the output probability calculation unit 205b of the HMM state calculates the output probability of each HMM state based on the acoustic model parameter ⁇ ⁇ corrected in advance and the feature amount vector O generated by the feature amount extraction unit 201b.
  • the word string search unit 206b receives the output probability of each HMM state and the language model read from the storage unit 250b, and outputs a word string ⁇ S as a recognition result.
  • FIG. 5 is a flowchart showing an example of a voice recognition process according to the second prior art.
  • the specific processing of the speech recognition device 20b is different from the first conventional technology speech recognition device 20a except that the acoustic model read in step S201b is a corrected acoustic model. Is the same as the speech recognition device 20a of the first prior art.
  • FIG. 6 is a diagram illustrating an example of a configuration of an acoustic model relearning apparatus according to the third related art.
  • the acoustic model relearning apparatus 10c includes a feature amount extraction unit 101c and an acoustic model correction unit 104c.
  • the acoustic model relearning device 10c is connected to the storage unit 150c.
  • the storage unit 150c does not store the language model, but stores only the acoustic model parameter ⁇ .
  • the feature quantity extraction unit 101c reads the adaptation audio data and generates a feature quantity vector Or .
  • the feature amount extraction unit 101c performs the same processing as the feature amount extraction unit 201b of the speech recognition device 20b.
  • the corrected acoustic model parameter ⁇ ⁇ calculated by the acoustic model re-learning apparatus 10c is obtained by using the adaptive speech data having the same acoustic conditions as the recognized speech data and the label relating to the adaptive speech data. Calculated by correcting.
  • the label may be one that has been transcribed manually (with teacher) or one that has been automatically obtained by voice recognition according to the first or second prior art (without teacher). is there.
  • the correction of the acoustic model parameter ⁇ using the supervised label is called supervised correction.
  • the correction of the acoustic model parameter ⁇ using the unsupervised label is called unsupervised correction.
  • the acoustic model correction unit 104c corrects the acoustic model parameter ⁇ using the acoustic model parameter ⁇ read from the storage unit 150c, the feature amount vector O r generated by the feature amount extraction unit 101c, and the input label ⁇ S r ( Re-estimate).
  • the acoustic model correction unit 104c includes an adaptive data (feature vectors O r of the adaptation speech data), using the correct symbol sequence S r and a corresponding feature vector O r, the following equation (4) of The acoustic model parameter ⁇ ⁇ is re-estimated so that the objective function F ⁇ is maximized.
  • the re-estimated acoustic model parameter ⁇ is used, for example, by the output probability calculation unit 205b (see FIG. 4) in the HMM state of the speech recognition apparatus 20b according to the second conventional technique.
  • the acoustic model used by the acoustic model correction unit 104c is NN.
  • the objective function F lambda e.g. Cross Entropy is used.
  • the optimization problem of the above equation (4) is solved by the Stochastic Gradient Descent (SGD) method, and the derivative for the correction parameter for that is described in Reference 3 “S.
  • SGD Stochastic Gradient Descent
  • a minute value such as 0.0001 is often used as the Learning Rate which is a variable of the SGD.
  • FIG. 7 is a flowchart showing an example of a speech model relearning process according to the third prior art.
  • the acoustic model re-learning apparatus 10c reads the acoustic model parameter ⁇ from the storage unit 150c (step S101c).
  • the acoustic model relearning device 10c reads a language model from a storage unit (not shown), for example, the storage unit 250b (see FIG. 4) of the speech recognition device 20b (step S102c).
  • the acoustic model relearning device 10c reads the adaptation speech data (step S103c).
  • the acoustic model retraining unit 10c reads the correct symbol sequence S r (step S104c).
  • the acoustic model retraining unit 10c extracts a feature from the adaptation speech data to generate a feature vector O r (step S105c).
  • the acoustic model re-learning apparatus 10c corrects (re-estimates) the acoustic model parameter ⁇ using the feature vector O r and the input label ⁇ S r (step S106c).
  • the acoustic model re-learning apparatus 10c re-estimates and outputs the acoustic model parameter ⁇ ⁇ obtained by correcting the acoustic model parameter ⁇ (step S107c).
  • the acoustic model parameter of CADNN is related to the acoustic condition feature amount given from the outside, and changes depending on the feature amount.
  • CADNN learning first, acoustic model parameters corresponding to each acoustic condition are learned using the voice feature quantity and the acoustic condition feature quantity.
  • the acoustic condition feature amount of the speech to be recognized is calculated, and a new acoustic model parameter that matches the acoustic condition is automatically calculated based on the acoustic condition feature amount and the acoustic model parameter learned in advance. Estimated and determined.
  • the acoustic condition feature amount can be calculated without using the correct answer label (speaker ID or transcription), and can be calculated from a small amount of voice data (several seconds).
  • the acoustic condition feature amount calculation unit used in CADNN is designed independently of the speech recognition apparatus, and is not designed based on the speech recognition performance optimization standard. As a result, it has been difficult to perform highly accurate speech recognition using conventional acoustic condition feature quantities.
  • CADNN-JT Context Adaptive Deep Neural Network with joint training
  • CADNN-JT Context Adaptive Deep Neural Network with joint training
  • CADNN-JT it is possible to simultaneously optimize the parameters of the acoustic condition feature quantity calculation model and the acoustic model parameters.
  • a calculation model of acoustic condition feature values is represented by a neural network, and an output layer of the neural network is combined with a part of a conventional CADNN neural network.
  • FIG. 8 is a diagram illustrating an example of an outline of a conventional acoustic condition adaptive acoustic model.
  • CADNN which is a conventional acoustic condition adaptive acoustic model, has a hidden layer of NN for each element of a vector (hereinafter referred to as “acoustic condition feature vector”) indicating acoustic condition feature quantities. It is in a disassembled form.
  • FIG. 8 shows a state where one hidden layer (i-th hidden layer) is decomposed as an example, at least one hidden layer or all hidden layers may be decomposed. The output after linear transformation of the decomposed hidden layer is calculated as in the following equation (5).
  • y k, n in the above equation (5) will be described in detail later, but the k-th (k is the k-dimensional real space) of the acoustic condition feature quantity vector y n ⁇ R K extracted from the n-th frame.
  • K is a natural number
  • K is a natural number indicating the number of acoustic conditions).
  • acoustic condition feature values y k, n they are referred to as acoustic condition feature values y k, n .
  • the weight matrix W i, k in the above equation (5) is a linear transformation matrix for the acoustic condition feature value y k, n in the i-th hidden layer.
  • bias vector b i, k in the above equation (5) is a bias vector related to the acoustic condition feature value y k, n in the i-th hidden layer.
  • CADNN expresses the hidden layer by breaking it down into K acoustic condition elements.
  • disassembly of the hidden layer for every acoustic condition feature-value you may show to following (6) Formula or following (7) Formula.
  • the acoustic model parameters at the time of speech recognition are calculated as in the following equations (8-1) and (8-2), and are automatically adapted to the acoustic conditions based on the acoustic condition feature values y k, n at the time of speech recognition. Will do.
  • the acoustic condition feature value y k, n represents an acoustic condition.
  • the acoustic condition feature value y k, n is calculated by a system independent of the speech recognition apparatus. For example, in the case of speaker adaptation, if the speech data at the time of learning is divided for each speaker class, models of each speaker class can be learned (Reference 5 “N. Dehak et al.,“ Front- End Factor Analysis for Speaker Verification, ”IEEE Trans. Audio, Speech, Language Process., Vol. 19, No. 4, pp. 788-798, 2011”). In CADNN, the posterior probability of each speaker class is calculated for each test utterance using the model of each speaker class, and is set as y k, n .
  • FIG. 9 is a diagram illustrating an example of an outline of the acoustic condition adaptive acoustic model according to the embodiment.
  • CADNN-JT which is an acoustic condition adaptive acoustic model according to the embodiment
  • a neural network is used as a calculation model for acoustic condition feature amounts representing acoustic conditions, and the parameters of the neural network are the same as those in the conventional network model. It is simultaneously optimized with the CADNN parameters. That is, the acoustic model and the acoustic condition calculation model are represented by a neural network having one or more hidden layers, and the output layer of the acoustic condition calculation model is coupled to the acoustic model.
  • the input of the acoustic conditions feature quantity calculation model the second input feature value u n is used.
  • Vector u n is, IVector like and representing the speaker characteristic frequently used in speaker recognition, etc., can be a feature quantity O n audio.
  • the second input feature value u n may be the same as the input feature quantity, it may be different.
  • the acoustic condition feature quantity y k, n calculated by the acoustic condition feature quantity calculation model is calculated as shown in the following equation (9).
  • the vector u n [u 1, n ,..., U J, n ] is a J-dimensional second input feature quantity.
  • the function f () is a function for calculating the acoustic condition feature quantity
  • ⁇ is a parameter of the function f ().
  • f () describes the case of a multilayer neural network (DNN), but f () may be a recurrent neural network (RNN) or a CNN (Convolutional Neural Network).
  • linear in each layer of the neural network is a set of parameters for the conversion, W'i'the transformation matrix, b'i'bias vector, I'number obtained by adding 1 to the total number of hidden layers of the neural network computational model of the acoustic conditions characteristic quantity That is, the total number of hidden layers and output layers.
  • a sigmoid function or the like can be used as the activation function of the hidden layer.
  • a softmax function, a linear function, or the like can be used as an output layer activation function (activation function).
  • Each speaker can be represented as an acoustic condition by using the acoustic condition feature value y k, n as the posterior probability of the speaker class.
  • the noise environment can be expressed as the acoustic condition by using the acoustic condition feature value y k, n as the posterior probability of the noise environment class.
  • y k, n is a feature quantity that can be basically calculated with several seconds of speech data, a large amount of acoustic model parameters (W i , b i ) are adapted to acoustic conditions by using several seconds of speech data. It will be possible.
  • each hidden layer is calculated as shown in the following equation (10) by applying an activation function to the output vector z i, n of the linear transformation.
  • Weight matrix W i, k and bias vector b i, k which are linear transformation parameters of each hidden layer decomposed for each acoustic condition feature y k, n , and parameter ⁇ of a function for calculating the acoustic condition feature Are optimized simultaneously.
  • the calculation result of the acoustic condition feature value is used in the calculation process in the factorized hidden layer (see the equations (5) and (9)). That is, since the neural network of the acoustic condition feature quantity calculation model and the factorized hidden layer are combined, the learning procedure of the conventional neural network (error backpropagation and SGD) (Reference 6 “D. Yu and L. Deng, “Automatic Speech Recognition: A Deep Learning Approach”, “Springer, 2015.”) can be used to simultaneously optimize the parameters of all neural networks. In this case, the differentiation of the linear transformation parameter of the hidden layer is as shown in the following formulas (11-1) and (11-2).
  • F in the above formulas (11-1) and (11-2) represents an optimization criterion (for example, Cross Entropy).
  • the vector ⁇ i, n represents a back-propagated error and is calculated as in the following equation (12).
  • a Hadamard product is an element-by-element product of a matrix or vector.
  • the above equation (12) is the same as the error back propagation equation of the prior art, but the weight matrix W i + 1, n and the vector z i, n used in the above equation (12) are newly introduced by CADNN-JT. It is calculated based on the above equations (8-1) and (8-2) and the above equation (5) (or the above equation (6) or the above equation (7)).
  • the error vector ⁇ I, n is an error term.
  • the error vector ⁇ I, n is obtained from a vector x i, n which is a network output (HMM state output probability) calculated based on the input feature vectors Y and NN and the input correct symbol sequence S r. based on the correct HMM state d n to be, as in the prior art, an error that back propagation, is calculated as follows (13).
  • ⁇ ′ i, n represents an error that has been propagated back to the neural network of the acoustic condition feature quantity calculation model, and is calculated as in the following equation (15).
  • ⁇ ′ i, p, n is an error propagated back in the p- th i-th layer
  • z k, i, p, n is the p- th dimension of z k, i, n .
  • z k, i, n is calculated as in the following equation (17).
  • FIG. 10 is a diagram illustrating an example of the configuration of the acoustic model learning device according to the embodiment.
  • the acoustic model learning device 10 according to the embodiment includes a feature amount extraction unit 101, a second feature amount extraction unit 102, a condition feature amount calculation unit 103, an acoustic model parameter correction unit 104, and an output of an HMM state.
  • a probability calculation unit 105, an error calculation unit 121, an acoustic model parameter differential value calculation unit 122, an acoustic model parameter update unit 123, a parameter differential value calculation unit 124 of a condition feature quantity calculation unit, a parameter update unit 125 of a condition feature quantity calculation unit, A convergence determination unit 126 is included.
  • the acoustic model learning device 10 is connected to the storage unit 150.
  • n are natural numbers of 1, 2,..., N ⁇ as parameters characterizing the acoustic model.
  • N represents a total number of frames in one utterance is a target for calculating the acoustics feature vectors y n of each frame will be described later.
  • N represents a total number of frames in one utterance is a target for calculating the acoustics feature vectors y n of each frame will be described later.
  • W'i'the transformation matrix, b'i'bias vector I'is a 1 to the total number of hidden layers of the neural network computational model of the acoustic conditions characteristic amount mentioned in the description of (9) This is the total number of hidden layers and output layers.
  • the acoustic condition calculation model is a model for generating an acoustic condition feature vector -Y described later.
  • the acoustic condition feature amount is a feature for each speaker, a sex of the speaker, an acoustic environment related to noise or reverberation, or the like.
  • the feature amount extraction unit 101 reads learning speech data observed with a microphone or the like, and generates a feature amount vector O from the learning speech data. That is, the feature quantity extraction unit 101 extracts feature quantities from the learning speech data.
  • the specific processing of the feature amount extraction unit 101 is the same as the feature amount extraction unit 201a of the first conventional technique, the feature amount extraction unit 201b of the second conventional technique, and the feature amount extraction unit 101c of the third conventional technique. is there.
  • the second feature quantity extraction unit 102 reads the learning speech data, extracts a second feature quantity vector series U as shown in the following equation (18), and outputs it to the conditional feature quantity calculation unit 103.
  • the second feature quantity extraction unit 102 may perform the same processing as the feature quantity extraction unit 101 to extract the feature quantity vector O as the second feature quantity vector.
  • the feature quantity vector O such as ivector May extract different feature quantities.
  • N is the total number of frames of one utterance for which the second feature vector is calculated, and n is an integer from 1 to N. That is, the second feature quantity vector series U includes the second feature quantity in each frame from the first to the Nth frame.
  • the second feature amount represents, for example, the characteristics of speaker characteristics or environment (noise, reverberation).
  • the second feature amount in each frame is expressed by an L-dimensional vector.
  • Each feature vector u n, rather than different values in each frame, to the period of several seconds may be fixed to the same value, during one utterance may be fixed to the same value.
  • the condition feature amount calculation unit 103 reads the acoustic condition calculation model parameter ⁇ that characterizes the acoustic condition calculation model and the second feature amount extracted by the second feature amount extraction unit 102, An acoustic condition feature amount indicating the feature of the acoustic condition is calculated. Also, the condition feature quantity calculation unit 103 outputs the calculated acoustic condition feature quantity to the acoustic model parameter correction unit 104 as a feature quantity vector Y as shown in the following equation (19).
  • N represents a total number of frames one utterance is a target for calculating the acoustics feature vectors y n of each frame
  • n is a natural number of from 1 N. That is, the acoustic condition feature vector Y includes acoustics feature vectors y n of each frame from 1 to N-th frame, acoustics feature vector y n of each frame is represented by a vector of K dimensions.
  • acoustics feature vector y n of each frame rather than different values in each frame, during the few seconds may be fixed to the same value, during one utterance are fixed to the same value Also good.
  • the acoustic model parameter correction unit 104 sets the acoustic model parameter ⁇ that characterizes the acoustic model read from the storage unit 150 based on the acoustic condition feature quantity vector Y generated by the condition feature quantity calculation unit 103 to the above equation (8-1). Then, the correction is made by the equation (8-2). Note that the initial value of the acoustic model parameter ⁇ corrected by the acoustic model parameter correction unit 104 is a parameter determined by a random number, an acoustic model parameter learned by the first to third conventional techniques, or the like. The acoustic model parameter correction unit 104 outputs the corrected parameter ⁇ generated by the correction to the output probability calculation unit 105 in the HMM state.
  • the HMM state output probability calculation unit 105 calculates the output probability of each HMM state based on the acoustic model parameter ⁇ ⁇ corrected by the acoustic model parameter correction unit 104 and the feature amount vector O generated by the feature amount extraction unit 101. calculate.
  • the specific processing of the HMM state output probability calculation unit 105 is the same as the HMM state output probability calculation unit 205a of the first prior art and the second prior art HMM state output probability calculation unit 205b.
  • the error calculation unit 121 is based on the output probability of each HMM state calculated by the output probability calculation unit 105 of the HMM state and the input correct symbol sequence ⁇ S r (correct HMM state) according to the above equation (13).
  • the error vector ⁇ I, n is calculated. Further, the error calculation unit 121 calculates an error vector ⁇ ′ I ′, n representing an error that has been propagated back to the neural network of the acoustic condition feature quantity calculation model, according to the above equation (16).
  • the acoustic model parameter differential value calculation unit 122 calculates an acoustic model parameter differential value based on the error vector ⁇ I, n calculated by the error calculation unit 121 and the acoustic model parameter ⁇ ⁇ corrected by the acoustic model parameter correction unit 104. To do.
  • the acoustic model parameter differential value calculation unit 122 calculates the acoustic model parameter differential value using the above equations (11-1), (11-2), and (12) indicating the back-propagated error. Or the acoustic model parameter differential value calculation part 122 can also be calculated by the conventional Stochastic Gradient Descent (SGD) method (refer the said literature 6). Also, momentum and L2 Regularization often used for speeding up parameter learning can be used together.
  • SGD Stochastic Gradient Descent
  • the acoustic model parameter update unit 123 based on the acoustic model parameter ⁇ read from the storage unit 150 and the acoustic model parameter differential value calculated by the acoustic model parameter differential value calculation unit 122, the following equation (20-1) and ( The acoustic model parameter ⁇ is updated by the equation 20-2). As described above, the acoustic model parameter update unit 123 updates the acoustic model parameter based on the values calculated based on the corrected acoustic model parameter and the feature amount.
  • the weight matrix ⁇ W i, k and the bias vector ⁇ b i, k are the updated acoustic model parameters ⁇ ⁇ and the weight matrix -W i , K and bias vector ⁇ b i, k are acoustic model parameters ⁇ obtained in the previous step.
  • ⁇ is a learning rate which is a variable of SGD, and is a minute value such as 0.1 to 0.0001.
  • ⁇ is a parameter for acoustic model parameter correction.
  • the parameter differential value calculation unit 124 of the condition feature amount calculation unit is based on the error vector ⁇ I, n calculated by the error calculation unit 121 and the calculation model parameter ⁇ of the acoustic condition, that is, the condition feature amount parameter of the acoustic condition. Calculate the parameter differential value of the calculator.
  • the parameter differential value calculation unit 124 of the conditional feature value calculation unit calculates the parameter differential value of the conditional feature value calculation unit according to the above equations (14-1), (14-2), and (15) indicating the back-propagated error. calculate.
  • the parameter differential value calculation unit 124 of the conditional feature quantity calculation unit can also use the same method as the acoustic model parameter differential value calculation unit 122.
  • the parameter update unit 125 of the conditional feature quantity calculation unit includes the acoustic model calculation model parameter ⁇ read from the storage unit 150 and the conditional feature quantity calculation unit parameter calculated by the parameter differential value calculation unit 124 of the conditional feature quantity calculation unit. Based on the differential value, the acoustic condition calculation model parameter ⁇ is updated by the following formulas (21-1) and (21-2). As described above, the parameter update unit 125 of the condition feature quantity calculation unit updates the calculation model parameter of the acoustic condition based on each value calculated based on the corrected parameter and the feature quantity.
  • the weight matrix ⁇ W ' i, k and the bias vector ⁇ b' i, k are the calculation model parameters ⁇ ⁇ of the updated acoustic conditions
  • the weight matrix ⁇ W ′ i, k and the bias vector ⁇ b ′ i, k are calculation model parameters ⁇ of acoustic conditions before update.
  • ⁇ ′ is a learning rate which is a variable of SGD, and is a minute value such as 0.1 to 0.0001.
  • ⁇ ′ is a parameter for correcting acoustic model calculation model parameters.
  • Convergence determination unit 126 learns (estimates) acoustic model parameter ⁇ and acoustic condition calculation model parameter ⁇ for acoustic model parameter ⁇ ⁇ and acoustic condition calculation model parameter ⁇ ⁇ updated by acoustic model parameter update unit 123. It is determined whether or not a predetermined convergence condition is satisfied. When it is determined that the predetermined convergence condition is satisfied, the convergence determination unit 126 outputs the acoustic model parameters ⁇ ⁇ when the convergence condition is satisfied as output values of the acoustic model learning device 10.
  • the acoustic model parameters ⁇ output from the acoustic model learning device 10 are stored in the storage unit 150, for example.
  • the convergence determination unit 126 determines that the predetermined convergence condition is not satisfied, the convergence determination unit 126 outputs the acoustic model parameters ⁇ ⁇ at the time of convergence condition satisfaction determination to the acoustic model parameter correction unit 104 and further at the time of convergence condition satisfaction determination.
  • the acoustic condition calculation model parameter ⁇ ⁇ is output to the conditional feature quantity calculation unit 103, the conditional feature quantity calculation unit 103, the acoustic model parameter correction unit 104, the HMM state output probability calculation unit 105, the error calculation unit 121, and the acoustic model
  • the parameter differential value calculation unit 122, the acoustic model parameter update unit 123, and the convergence determination unit 126 repeat the processing.
  • the acoustic model parameter ⁇ ⁇ and the acoustic model calculation model parameter ⁇ ⁇ when it is determined that the predetermined convergence condition is satisfied are further stored in the storage unit 150 and used as initial values of each parameter in the next processing. You may do it.
  • the convergence determination unit 126 for example, (1) the acoustic model parameter - ⁇ obtained in the previous step or the acoustic model calculation model parameter - ⁇ and the updated acoustic model parameter ⁇ ⁇ or acoustic condition When the difference between the calculation model parameter and ⁇ is less than the threshold, (2) When the number of iterations of convergence condition satisfaction determination is greater than a predetermined number, (3) Performance using a part of the speech data for learning Is evaluated based on any predetermined condition such as when a predetermined performance index deteriorates by a predetermined value or more.
  • FIG. 11 is a flowchart illustrating an example of the acoustic model learning process according to the embodiment.
  • the acoustic model learning device 10 reads an acoustic model (acoustic model parameter ⁇ ) from the storage unit 150 (step S101).
  • the acoustic model learning device 10 reads the acoustic condition calculation model (acoustic condition calculation model parameter ⁇ ) from the storage unit 150 (step S102).
  • the acoustic model learning device 10 reads the learning voice data (step S103).
  • the acoustic model learning unit 10 reads the correct symbol sequence -S r (step S104).
  • the acoustic model learning device 10 extracts the feature vector O from the learning speech data (step S105). Next, the acoustic model learning device 10 extracts the second feature vector series U from the learning speech data (step S106). Next, the acoustic model learning device 10 calculates the acoustic condition feature vector Y from the above equation (9) from the acoustic condition calculation model parameter ⁇ and the second feature vector sequence (step S107). Next, the acoustic model learning device 10 corrects the acoustic model parameter ⁇ read from the storage unit 150 based on the acoustic condition feature quantity vector Y by the above equations (8-1) and (8-2) (step) S108). Next, the acoustic model learning device 10 calculates the output probability of each HMM state based on the corrected acoustic model parameter ⁇ and the feature vector O (step S109).
  • the acoustic model learning device 10 calculates the error vector ⁇ I, n by the above equation (13) based on the output probability of each HMM state and the input correct symbol sequence -S r, and The error vector ⁇ ′ I ′, n is calculated from the equation (16) (step S110).
  • the acoustic model learning device 10 calculates an acoustic model parameter differential value based on the error vector ⁇ I, n and the corrected acoustic model parameter ⁇ (step S111).
  • the acoustic model learning device 10 calculates the acoustic model parameter ⁇ by the above equations (20-1) and (20-2) based on the acoustic model parameter ⁇ read from the storage unit 150 and the acoustic model parameter differential value. Is updated (step S112).
  • the acoustic model learning device 10 calculates the acoustic model calculation model parameter differential value based on the error vector ⁇ ′ I ′, n and the acoustic condition calculation model parameter ⁇ (step S113).
  • the acoustic model learning device 10 calculates the acoustic condition calculation model parameter ⁇ and the acoustic condition calculation model parameter differential value read from the storage unit 150, and the above-described equations (21-1) and (21-2)
  • the acoustic condition calculation model parameter ⁇ is updated by the equation (step S114).
  • the acoustic model learning device 10 learns the acoustic model parameter ⁇ and the acoustic condition calculation model parameter ⁇ with respect to the updated acoustic model parameter ⁇ ⁇ and the acoustic condition calculation model parameter ⁇ so that the predetermined convergence condition is satisfied. Is determined (step S115). When the learning of the acoustic model parameter ⁇ and the acoustic model calculation model parameter ⁇ satisfies the predetermined convergence condition (Yes in step S115), the acoustic model learning device 10 moves the process to step S116.
  • step S115 when the learning of the acoustic model parameter ⁇ or the acoustic model calculation model parameter ⁇ does not satisfy the predetermined convergence condition (No in step S115), the acoustic model learning device 10 moves the process to step S107 or step S108.
  • step S116 the acoustic model learning device 10 outputs the acoustic model parameters ⁇ ⁇ when it is determined that the predetermined convergence condition is satisfied as the output value of the acoustic model learning device 10 (step S116).
  • the acoustic model parameter ⁇ ⁇ and the acoustic model calculation model parameter ⁇ ⁇ when it is determined that the predetermined convergence condition is satisfied are further stored in the storage unit 150 and used as initial values of each parameter in the next processing. You may do it.
  • FIG. 12 is a diagram illustrating an example of the configuration of the speech recognition apparatus according to the embodiment.
  • the speech recognition apparatus 20 includes a feature quantity extraction unit 201, a second feature quantity extraction unit 202, a condition feature quantity calculation unit 203, an acoustic model parameter correction unit 204, and an output probability of an HMM state.
  • a calculation unit 205 and a word string search unit 206 are included.
  • the voice recognition device 20 is connected to the storage unit 250.
  • the storage unit 250 includes an acoustic model (acoustic model parameter ⁇ ) updated by the acoustic model learning device 10, an acoustic condition calculation model (acoustic condition calculation model parameter ⁇ ), a language model, an acoustic model parameter correction parameter ⁇ , and an acoustic model.
  • the condition calculation model parameter correction parameter ⁇ ′ is stored in advance.
  • the feature amount extraction unit 201 reads the recognition speech data observed with a microphone or the like, extracts the feature amount from the recognition speech data, and generates a feature amount vector O. That is, the feature amount extraction unit 201 extracts a feature amount from the recognition voice data. Specific processing of the feature quantity extraction unit 201 is the same as that of the feature quantity extraction unit 101 of the acoustic model learning device 10.
  • the second feature quantity extraction unit 202 reads the recognition voice data observed with a microphone or the like, extracts the feature quantity from the recognition voice data, and generates a second feature quantity vector series U. That is, the feature amount extraction unit 201 extracts a feature amount from the recognition voice data.
  • the specific processing of the feature quantity extraction unit 201 is the same as that of the second feature quantity extraction unit 102 of the acoustic model learning device 10.
  • the condition feature quantity calculation unit 203 reads the acoustic condition calculation model parameter ⁇ and the second feature quantity extracted by the second feature quantity extraction unit 202, and calculates the acoustic condition feature quantity by Expression (9). In addition, the condition feature quantity calculation unit 203 outputs the calculated acoustic condition feature quantity to the acoustic model parameter correction unit 204 as a feature quantity vector Y as shown in Equation (19).
  • the specific processing of the conditional feature quantity calculation unit 203 is the same as that of the conditional feature quantity calculation unit 103 of the acoustic model learning device 10.
  • the acoustic model parameter correction unit 204 is based on the acoustic model parameter ⁇ read from the storage unit 250 and the acoustic condition feature quantity vector Y generated by the condition feature quantity calculation unit 203, and the above equation (8-1) and ( The acoustic model parameter ⁇ is corrected by the equation 8-2).
  • the specific processing of the acoustic model parameter correction unit 204 is the same as that of the acoustic model parameter correction unit 104 of the acoustic model learning device 10.
  • the HMM state output probability calculation unit 205 calculates the output probability of each HMM state based on the acoustic model parameter ⁇ ⁇ corrected by the acoustic model parameter correction unit 204 and the feature amount vector O generated by the feature amount extraction unit 201. calculate.
  • the specific processing of the HMM state output probability calculation unit 205 is the same as that of the HMM state output probability calculation unit 105 of the acoustic model learning device 10.
  • the word string search unit 206 outputs a word string using the output probability of the HMM state calculated based on the feature amount and the corrected parameter and the generation probability of the language model. That is, the word string search unit 206 searches the language model read from the storage unit 250 based on the output probability of each HMM state calculated by the output probability calculation unit 205 of the HMM state, and the word string as a speech recognition result ⁇ S is output.
  • the specific processing of the word string search unit 206 is the same as the word string search unit 206a of the first conventional speech recognition apparatus 20a and the word string search unit 206b of the second conventional voice recognition apparatus 20b.
  • FIG. 13 is a flowchart illustrating an example of a voice recognition process according to the embodiment.
  • the speech recognition apparatus 20 reads an acoustic model (acoustic model parameter ⁇ ) from the storage unit 250 (step S201).
  • the speech recognition apparatus 20 reads a calculation model of acoustic conditions from the storage unit 250 (step S202).
  • the speech recognition apparatus 20 reads a language model from the storage unit 250 (step S203).
  • the voice recognition device 20 reads the voice data for recognition (step S204).
  • the speech recognition apparatus 20 reads the acoustic model parameter correction parameter ⁇ and the acoustic model calculation model parameter correction parameter ⁇ ′ from the storage unit 250 (step S205).
  • the speech recognition apparatus 20 extracts the feature vector O from the learning speech data (step S206).
  • the speech recognition apparatus 20 extracts the second feature vector series U from the learning speech data (step S207).
  • the speech recognition apparatus 20 calculates the acoustic condition feature vector Y from the above equation (9) from the acoustic condition calculation model parameter ⁇ and the second feature vector sequence (step S208).
  • the speech recognition apparatus 20 corrects the acoustic model parameter ⁇ read from the storage unit 250 based on the acoustic condition feature quantity vector Y by the above formulas (8-1) and (8-2) (step S209). ).
  • the speech recognition apparatus 20 calculates the output probability of each HMM state based on the corrected acoustic model parameter ⁇ and the feature vector O (step S210).
  • the speech recognition apparatus 20 searches for the language model read from the storage unit 250 based on the output probability of each HMM state (step S211).
  • the speech recognition apparatus 20 outputs the word string ⁇ S as a speech recognition result from the search result in step S211 (step S212).
  • acoustic model based on DNN CADNN
  • CADNN CADNN
  • the acoustic model in the present invention is not limited to the one based on the HMM, and can be any acoustic model that calculates the output probability using a neural network.
  • the acoustic model in the present invention may be a model based on CTC (Connectionist Temporal Classification) or encoder-decoder.
  • the feature amount extraction unit 101 and the second feature amount extraction unit 102 extract feature amounts indicating features of audio data.
  • the condition feature amount calculation unit 103 calculates an acoustic condition feature amount indicating the feature of the acoustic condition of the voice data based on the acoustic condition calculation model parameter that characterizes the acoustic condition calculation model represented by the neural network and the feature amount. Calculate using acoustic condition calculation model.
  • the acoustic model parameter correction unit 104 is a parameter obtained by correcting the acoustic model parameters that characterize the acoustic model represented by the neural network to which the output layer of the acoustic condition calculation model is coupled based on the acoustic condition feature amount. Generate post parameters.
  • the acoustic model parameter update unit 123 updates the acoustic model parameter based on the corrected parameter and the feature amount.
  • the parameter update unit 125 of the condition feature quantity calculation unit updates the acoustic condition calculation model parameter based on the corrected parameter and the feature quantity.
  • the embodiment has the feature that the acoustic condition feature quantity can be calculated without using the correct answer label (speaker ID or transcription) and can be calculated from a small amount of voice data (several seconds). As a result, high-speed acoustic model adaptation becomes possible.
  • the embodiment can adapt the acoustic model to acoustic conditions using a small amount of speech data, and can achieve higher speech recognition performance than the conventional technology without switching the acoustic model for each acoustic condition as in the conventional technology. .
  • the embodiment can optimize the neural network representing the acoustic condition calculation model based on the error propagated back in the neural network representing the acoustic model, the parameters of the acoustic condition feature amount calculation model And simultaneous optimization of acoustic model parameters. Therefore, it becomes possible to simultaneously optimize all the neural networks including the calculation model of the acoustic condition feature amount based on the optimization criterion for speech recognition, and the speech recognition accuracy is improved.
  • the feature quantity extraction unit 101 and the second feature quantity extraction unit 102 may extract the first feature quantity and the second feature quantity different from the first feature quantity as the feature quantity.
  • the condition feature quantity calculation unit 103 calculates the acoustic condition feature quantity based on the acoustic condition calculation model parameter and the second feature quantity.
  • the acoustic model parameter updating unit 123 updates the acoustic model parameter based on the corrected parameter and the first feature amount.
  • the parameter update unit 125 of the condition feature quantity calculation unit updates the acoustic condition calculation model parameter based on the corrected parameter and the second feature quantity.
  • the feature amount extraction unit 201 and the second feature amount extraction unit 202 for speech recognition extract feature amounts indicating features of the speech data.
  • the condition feature quantity calculation unit 203 for speech recognition uses the acoustic condition calculation model to calculate the acoustic condition feature quantity indicating the acoustic condition feature of the voice data based on the acoustic condition calculation model parameter and the feature quantity. calculate.
  • the acoustic model parameter correction unit 204 for speech recognition generates a corrected parameter that is a parameter obtained by correcting the acoustic model parameter based on the acoustic condition feature amount.
  • the word string search unit 206 outputs a word string using the output probability of the HMM state calculated based on the feature amount and the corrected parameter and the generation probability of the language model. Since speech recognition can be performed using acoustic condition calculation model parameters that satisfy the optimization criteria for speech recognition, the accuracy of speech recognition is improved.
  • Table 1 shows the results (word error rate) when the acoustic model is adapted to the speaker without teacher for each utterance in the speech recognition task AURORA4. Since the acoustic condition feature amount is calculated for each utterance (about several seconds), high-speed acoustic model adaptation is performed based on a small amount of data. Also, there are three methods used: baseline (speech recognition based on a conventional neural network), CADNN, and CADNN-JT which is a method according to the present invention used in the embodiment. Here, it can be seen from Table 1 that the present invention achieves higher performance than conventional speech recognition (baseline) and conventional CADNN.
  • Each component of the acoustic model learning device 10 shown in FIG. 10 and the speech recognition device 20 shown in FIG. 12 is functionally conceptual, and does not necessarily need to be physically configured as illustrated.
  • the specific forms of distribution and integration of the functions of the acoustic model learning device 10 and the speech recognition device 20 are not limited to those shown in the figure, and all or a part of them can be arbitrarily determined according to various loads, usage conditions, and the like. Can be configured functionally or physically distributed or integrated.
  • the feature quantity extraction unit 101 and the second feature quantity extraction unit 102 may be integrated function units, and output different feature quantities to the HMM state output probability calculation unit 105 and the conditional feature quantity calculation unit 103, respectively. You may do it. The same applies to the feature quantity extraction unit 201 and the second feature quantity extraction unit 202.
  • the acoustic model learning device 10 and the speech recognition device 20 may be an integrated device.
  • the feature amount extraction unit 101 and the feature amount extraction unit 201 having the same functions in the acoustic model learning device 10 and the speech recognition device 20, and
  • the output probability calculation unit 205 in the HMM state may be the same functional unit.
  • each processing in the acoustic model learning device 10 and the speech recognition device 20 is not limited to the illustrated one, and the processing order and the processing can be integrated or separated.
  • the processing order of steps S101 to S104 and steps S201 to S205 in the embodiment may be changed.
  • all or some of the processes performed in the acoustic model learning device 10 and the speech recognition device 20 may be realized by a processing device such as a CPU and a program that is analyzed and executed by the processing device.
  • a processing device such as a CPU and a program that is analyzed and executed by the processing device.
  • Each process performed in the acoustic model learning device 10 and the speech recognition device 20 may be realized as hardware by wired logic.
  • the acoustic model learning device and the speech recognition device are implemented by installing an acoustic model learning program or a speech recognition program for performing the above-described acoustic model learning or speech recognition as package software or online software in a desired computer. it can.
  • the information processing apparatus can function as an acoustic model learning apparatus or a speech recognition apparatus.
  • the information processing apparatus referred to here includes a desktop or notebook personal computer.
  • the information processing apparatus includes mobile communication terminals such as smartphones, mobile phones and PHS (Personal Handyphone System), and slate terminals such as PDA (Personal Digital Assistant).
  • the acoustic model learning device and the speech recognition device can be implemented as a server device that uses the terminal device used by the user as a client and provides the client with services related to acoustic model learning or speech recognition.
  • the acoustic model learning apparatus is implemented as a server apparatus that provides an acoustic model learning service that receives learning speech data as an input and outputs an acoustic condition calculation model as an output.
  • the voice recognition device is implemented as a server device that provides a voice recognition service that receives recognition voice data as an input and outputs a word string as a recognition result.
  • the acoustic model learning device and the speech recognition device may be implemented as a Web server, or may be implemented as a cloud that provides the above-described acoustic model learning or speech recognition service by outsourcing.
  • FIG. 14 is a diagram illustrating an example of a computer in which an acoustic model learning device or a speech recognition device is realized by executing a program.
  • the computer 1000 includes a memory 1010 and a CPU 1020, for example.
  • the computer 1000 also includes a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These units are connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012.
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • the disk drive interface 1040 is connected to the disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to a mouse 1110 and a keyboard 1120, for example.
  • the video adapter 1060 is connected to the display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. That is, a program that defines each process of the acoustic model learning device or the speech recognition device is implemented as a program module 1093 in which a code executable by a computer is described.
  • the program module 1093 is stored in the hard disk drive 1090, for example.
  • a program module 1093 for executing processing similar to the functional configuration in the acoustic model learning device or the speech recognition device is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in, for example, the memory 1010 or the hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 and executes them as necessary.
  • the program module 1093 and the program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). The program module 1093 and the program data 1094 may be read by the CPU 1020 from another computer via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

音響モデル学習装置（１０）は、まず、音声データの特徴を示す音声特徴量を抽出し、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータを基に、音声データの音響条件の特徴を示す音響条件特徴量を音響条件の計算モデルを用いて計算する。次に、音響モデル学習装置（１０）は、音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する。そして、音響モデル学習装置（１０）は、補正後パラメータおよび音声特徴量を基に音響モデルパラメータを更新し、補正後パラメータおよび音声特徴量を基に音響条件計算モデルパラメータを更新する。

Description

音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラム
　本発明は、音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムに関する。
　従来から、学習用の音声データを隠れマルコフモデル（以下、ＨＭＭ（Hidden　Markov　Model）と称す）に基づき学習した音響モデルを用いて、認識用音声データから話者の音声を認識する技術がある（例えば非特許文献１参照）。
　認識用音声データは、周囲の雑音や話者の多様性等のため、学習用の音声データと特徴が一致しないことが多い。つまり、学習用の音声データおよび認識用音声データそれぞれが置かれる周囲の雑音を含む音響環境や話者毎の特性である話者特性等の音響条件の不一致は、音声の認識精度を低下させる。このため、音声認識技術は、音響条件に対してロバストであることが求められる。ロバストな音声認識技術として、認識用音声データが音響モデルに適合するように、適応データを用いて音響モデルのパラメータを再推定により学習する技術が知られている（例えば非特許文献２参照）。また、パラメータの再推定方法としては、誤差逆伝搬法等が広く用いられている（例えば非特許文献３参照）。
G.　Hinton　et　al.,　"Deep　Neural　Networks　for　Acoustic　Modeling　in　Speech　Recognition,　The　shared　views　of　four　research　groups,"　IEEE　SIGNAL　PROCESSING　MAGAZINE,　Vol.　29，No.　6,　pp.　82－97,　2012. H.　Liao,　"SPEAKER　ADAPTATION　OF　CONTEXT　DEPENDENT　DEEP　NEURAL　NETWORKS,"　in　Proc.　of　ICASSP’13,　2013,　pp.　7947－7951. S.　Haykin,　"NEURAL　NETWORKS:　A　COMPREHENSIVE　FOUNDATION,"　Prentice　Hall　PTR,　Upper　Saddle　River,　NJ,　USA,　2nd　edition,　1999.
　しかしながら、上記技術は、音響モデルの学習用の音声データが置かれる音響条件と、認識用音声データが置かれる音響条件が必ずしも同一ではないため、音響モデルと音声認識時の音声特徴量にミスマッチがあり、結果、音声認識の精度が低下する。
　音声認識の精度の低下を抑制するため、例えば、認識用音声データと同様な音響条件の適応データを用いて音響モデルのパラメータを適応させる。しかし、大量の音響モデルのパラメータを精度よく推定するために、膨大な音声データ量が必要になる。また、パラメータ推定のために用いる音声には，その音声を表現するラベル（例えば話者ＩＤやトランスクリプション等）が必要になる。そのため、観測した認識用音声データを音響モデルのパラメータを適応させる際に膨大な計算が必要になり、高速なパラメータ適応ができないという問題がある。
　そこで、本願が開示する実施形態の一例は、音声認識の際に、音響モデルのパラメータ適応を高精度かつ高速に実現することを目的とする。
　本発明の音響モデル学習方法は、音声データの特徴を示す特徴量を抽出する特徴量抽出工程と、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算工程と、前記音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正工程と、前記補正後パラメータおよび前記特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新工程と、前記補正後パラメータおよび前記特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新工程と、を含んだことを特徴とする。
　また、本発明の音響モデル学習装置は、音声データの特徴を示す特徴量を抽出する特徴量抽出部と、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算部と、前記音響条件の計算モデルの出力層が結合された音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正部と、前記補正後パラメータおよび前記特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新部と、前記補正後パラメータおよび前記特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新部と、を有することを特徴とする。
　本願が開示する実施形態の一例によれば、例えば、音声認識の際に、音響モデルのパラメータ適応を高精度かつ高速に実現することができる。
図１は、第１の従来技術に係る音声認識装置の構成の一例を示す図である。 図２は、第１の従来技術の処理の概要の一例を示す図である。 図３は、第１の従来技術に係る音声認識処理の一例を示すフローチャートである。 図４は、第２の従来技術に係る音声認識装置の構成の一例を示す図である。 図５は、第２の従来技術に係る音声認識処理の一例を示すフローチャートである。 図６は、第３の従来技術に係る音響モデル再学習装置の構成の一例を示す図である。 図７は、第３の従来技術に係る音声モデル再学習処理の一例を示すフローチャートである。 図８は、従来の音響条件適応型音響モデルの概要の一例を示す図である。 図９は、実施形態に係る音響条件適応型音響モデルの概要の一例を示す図である。 図１０は、実施形態に係る音響モデル学習装置の構成の一例を示す図である。 図１１は、実施形態に係る音響モデル学習処理の一例を示すフローチャートである。 図１２は、実施形態に係る音声認識装置の構成の一例を示す図である。 図１３は、実施形態に係る音声認識処理の一例を示すフローチャートである。 図１４は、プログラムが実行されることにより、実施形態に係る音響モデル学習装置および音声認識装置が実現されるコンピュータの一例を示す図である。
　以下、本願が開示する音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムの実施形態の一例の説明に先立ち、実施形態の一例が前提とする従来技術を説明する。その後、本願が開示する音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムの実施形態の一例を説明する。
　なお、以下では、例えばＡがベクトルである場合には“ベクトルＡ”と表記し、例えばＡが行列である場合には“行列Ａ”と表記し、例えばＡがスカラーである場合には単に“Ａ”と表記する。また、例えばＡが集合である場合には、“集合Ａ”と表記する。また、例えばベクトルＡの関数ｆは、ｆ（ベクトルＡ）と表記する。また、ベクトル、行列またはスカラーであるＡに対し、“＾Ａ”と記載する場合は「“Ａ”の直上に“＾”が記された記号」と同等であるとする。また、ベクトル、行列またはスカラーであるＡに対し、“－Ａ”と記載する場合は「“Ａ”の直上に“－”が記された記号」と同等であるとする。また、ベクトル、行列またはスカラーであるＡに対し、“~Ａ”と記載する場合は「“Ａ”の直上に“~”が記された記号」と同等であるとする。また、ベクトルまたは行列であるＡに対し、ＡＴはＡの転置を表す。
＜第１の従来技術＞
　第１の従来技術は、例えば文献１「G.　Hinton　et　al.,　“Deep　Neural　Networks　for　Acoustic　Modeling　in　Speech　Recognition,　The　shared　views　of　four　research　groups,”　IEEE　SIGNAL　PROCESSING　MAGAZINE,　Vol.　29，No.　6,　pp.　82－97,　2012.」に示される音声認識技術である。図１は、第１の従来技術に係る音声認識装置の構成の一例を示す図である。図１に示すように、第１の従来技術に係る音声認識装置２０ａは、特徴量抽出部２０１ａ、ＨＭＭ状態の出力確率計算部２０５ａ、単語列検索部２０６ａを有する。また、音声認識装置２０ａは、記憶部２５０ａと接続される。
　記憶部２５０ａは、音響モデルおよび言語モデルをあらかじめ記憶する。音響モデルは、音声の音響的特徴をモデル化したものである。言語モデルは、音素や単語といった多数のシンボル系列から構成されている。例えば、言語モデルは、単語列の生成確率をモデル化したものであるといえる。一般的に、音声認識用の音響モデルは、各音素をLeft　to　rightのＨＭＭであり、ニューラルネットワーク（以下、ＮＮ（Neural　Network）と称す）で計算されたＨＭＭの各状態の出力確率分布を含む。
　すなわち、記憶部２５０ａに記憶されている音響モデルは、音素等の各シンボルにおけるＨＭＭの状態遷移確率、ｉ番目の隠れ層に関する重み行列Ｗｉおよびバイアスベクトルｂｉ、アクティベーション関数のパラメータ等を含むＮＮのパラメータである。ここで、ｉは、隠れ層のインデックスである。これらを音響モデルパラメータと称し、その集合をΛ＝｛Ｗ１，ｂ１，・・・，ＷＩ，ｂＩ｝（Ｉは、隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数）とする。言語モデルは、音素や単語といった多数のシンボル系列Ｓｊから構成されており、Ｐ（Ｓｊ）は言語モデルによって得られるシンボル系列Ｓｊの確率（言語確率）である。なお、シンボル系列Ｓｊとは、音声認識結果となりうる、音素や単語等からなるシンボルの系列である。
　特徴量抽出部２０１ａは、認識用音声データを読み込み、認識用音声データから音声の特徴量を抽出する。特徴量としては、例えば、ＭＦＣＣ（Mel　Frequency　Cepstral　Coefficient）、ＬＭＦＣ（log　Mel　Filterbank　coefficients）、ΔＭＦＣＣ（ＭＦＣＣの１回微分）、ΔΔＭＦＣＣ（ＭＦＣＣの２回微分）、対数（スペクトル）パワー、Δ対数パワー（対数パワーの１回微分）等がある。
　そして、特徴量抽出部２０１ａは、フレーム毎に当該フレームおよびその前後５フレーム程度の連続する各フレームから得られる特徴量を連結し、１０～２０００次元程度の時系列特徴量ベクトルｏｎ（ｎは、１，・・・，Ｎの自然数）を生成する。そして、特徴量抽出部２０１ａは、下記（１）式のように、全てのフレームについての時系列特徴量ベクトルｏｎをまとめた特徴量ベクトルＯを生成する。特徴量ベクトルＯは、１からＮフレーム目までのＤ次元ベクトルで表現されるデータである。例えば、フレーム長は、３０ｍｓ程度、フレームシフト長は、１０ｍｓ程度である。
Figure JPOXMLDOC01-appb-M000001
　ＨＭＭ状態の出力確率計算部２０５ａは、記憶部２５０ａから音響モデルパラメータΛを読み込み、読み込んだ音響モデルパラメータΛに基づき、特徴量ベクトルＯの各フレームｎに対する音響モデルの各ＨＭＭ状態の出力確率を計算する。ＨＭＭ状態の出力確率は、例えば文献１「G.　Hinton　et　al.,　“Deep　Neural　Networks　for　Acoustic　Modeling　in　Speech　Recognition,　The　shared　views　of　four　research　groups,”　IEEE　SIGNAL　PROCESSING　MAGAZINE,　Vol.　29，No.　6,　pp.　82－97,　2012.」の数式（２）で表されるようなニューラルネットワークの出力である。図２は、第１の従来技術の処理の概要の一例を示す図である。図２に示すように、従来技術の音声認識に音響モデルを表すニューラルネットワークは、入力と出力との間に、１以上の隠れ層を有する。ニューラルネットワークの入力は、時系列特徴量ベクトルｏｎであり、最前段の隠れ層へ入力される。ニューラルネットワークの出力は、最後段の隠れ層によるＨＭＭ状態の出力確率である。ＨＭＭ状態の出力確率計算部２０５ａが行う各隠れ層における計算は、線形変換による処理およびアクティベーション関数による処理の２つの処理を含む。各隠れ層における線形変換は、下記（２）式のようになる。
Figure JPOXMLDOC01-appb-M000002
　ただし、上記（２）式において、ベクトルｚｉ，ｎは、ｉ番目（ｉは自然数であり、ｉ＝１，２，・・・，Ｉ（ただしＩは隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数））の隠れ層における線形変換の出力であり、ベクトルｘｉ－１，ｎは（ｉ－１）番目の隠れ層の出力である。なお、ベクトルｘ０，ｎは、ニューラルネットワークの入力である時系列特徴量ベクトルｏｎである。また、アクティベーション関数の出力は、下記（３）式のようになる。
Figure JPOXMLDOC01-appb-M000003
　ただし、上記（３）式において、ベクトルｘｉ，ｎはｉ番目の隠れ層の出力であり、σは、例えばsigmoid関数等のアクティベーション関数であり、σ(ベクトルｚｉ，ｎ)ベクトルの要素毎に計算される。すなわち、ＨＭＭ状態の出力確率計算部２０５ａは、ｉ番目の隠れ層において、前段の隠れ層である（ｉ－１）番目の隠れ層の出力であるベクトルｘｉ－１，ｎに対し上記（２）式による線形変換を行った結果であるベクトルｚｉ，ｎに対して、上記（２）式による処理を行った結果であるベクトルｘｉ，ｎを出力する。そして、ＨＭＭ状態の出力確率計算部２０５ａは、各ベクトルｘｉ，ｎ（ｉ＝１，２，・・・，Ｉ）に基づき、特徴量ベクトルＯの各フレームｎに対する音響モデルの各ＨＭＭ状態の出力確率を計算する。
　単語列検索部２０６ａは、ＨＭＭ状態の出力確率計算部２０５ａにより計算された各ＨＭＭ状態の出力確率に基づき、Ｊ個（Ｊは自然数）の対立候補シンボル系列Ｓｊを生成し、対立候補シンボル系列Ｓｊ毎に、音響モデルとの適合尤度を示す音響スコアを計算する。シンボルは、例えば、音素である。ここで、ｊ＝１，２，・・・，Ｊである。次に、単語列検索部２０６ａは、記憶部２５０ａから読み込んだ言語モデルに基づき、対立候補シンボル系列Ｓｊ毎に、言語モデルとの適合尤度を示す言語スコアを計算する。そして、単語列検索部２０６ａは、計算した音響スコアおよび言語スコアに基づき、Ｊ個の対立候補シンボル系列Ｓｊの中から、認識用音声データに対応する単語列として最も確からしい、つまり、音響スコアおよび言語スコアを統合したスコアが最も高い対立候補シンボル系列を、記憶部２５０ａに記憶される言語モデルから検索し、検索した対立候補シンボル系列を、認識結果である単語列＾Ｓとして出力する。
　図３は、第１の従来技術に係る音声認識処理の一例を示すフローチャートである。まず、音声認識装置２０ａは、記憶部２５０ａから、音響モデルパラメータΛを読み込む（ステップＳ２０１ａ）。次に、音声認識装置２０ａは、記憶部２５０ａから、言語モデルを読み込む（ステップＳ２０２ａ）。次に、音声認識装置２０ａは、認識用音声データを読み込む（ステップＳ２０３ａ）。次に、音声認識装置２０ａは、読み込んだ認識用音声データから音声の特徴量を抽出し、特徴量ベクトルＯを生成する（ステップＳ２０４ａ）。次に、音声認識装置２０ａは、読み込んだ音響モデルパラメータΛに基づき、特徴量ベクトルＯの各フレームｎに対する音響モデルの各ＨＭＭ状態の出力確率を計算する（ステップＳ２０５ａ）。次に、音声認識装置２０ａは、ＨＭＭ状態の出力確率計算部２０５ａにより計算された各ＨＭＭ状態の出力確率に基づき、対立候補シンボル系列Ｓｊを生成し、対立候補シンボル系列Ｓｊ毎の音響スコアおよび言語スコアを統合したスコアが最も高い対立候補シンボル系列を、記憶部２５０ａに記憶される言語モデルから検索する（ステップＳ２０６ａ）。次に、音声認識装置２０ａは、ステップＳ２０６ａの検索結果を、認識結果である単語列＾Ｓとして出力する（ステップＳ２０７ａ）。
＜第２の従来技術＞
　ここで、一般的に、音響モデルの学習時と認識時とでは、音響環境や話者特性等の音響条件が異なる。そのため、第１の従来技術の音声認識は、音響モデルと認識時の特徴量とが合致せず、十分な認識性能が得られない。そこで、音響モデルを認識時の特徴量と合致させるため、音響モデルのパラメータを補正（再推定）（以下、音響モデル補正と称す）して音声認識を行う第２の従来技術がある。第２の従来技術は、例えば文献２「H.　Liao,　“SPEAKER　ADAPTATION　OF　CONTEXT　DEPENDENT　DEEP　NEURAL　NETWORKS,”　in　Proc.　of　ICASSP’13,　2013,　pp.　7947－7951.」に示される音声認識技術である。以下、音響モデル補正を行う第２の従来技術について、第１の従来技術との差異部分を説明する。
　図４は、第２の従来技術に係る音声認識装置の構成の一例を示す図である。音響モデル補正を行う第２の従来技術に係る音声認識装置２０ｂは、特徴量抽出部２０１ｂ、ＨＭＭ状態の出力確率計算部２０５ｂ、単語列検索部２０６ｂを有する。また、音声認識装置２０ｂは、記憶部２５０ｂと接続される。
　記憶部２５０ｂは、第１の従来技術の記憶部２５０ａと同様であるが、記憶されている音響モデルに関しては、補正された音響モデルパラメータを記憶する。特徴量抽出部２０１ｂは、認識用音声データを読み込み、特徴量ベクトルＯを生成する。ＨＭＭ状態の出力確率計算部２０５ｂは、事前に補正された音響モデルパラメータ＾Λと、特徴量抽出部２０１ｂにより生成された特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する。単語列検索部２０６ｂは、各ＨＭＭ状態の出力確率と、記憶部２５０ｂから読み込んだ言語モデルを入力とし、認識結果である単語列＾Ｓを出力する。
　図５は、第２の従来技術に係る音声認識処理の一例を示すフローチャートである。図５に示すように、音声認識装置２０ｂの具体的な処理は、第１の従来技術の音声認識装置２０ａと比較して、ステップＳ２０１ｂで読み込む音響モデルが、補正された音響モデルである点以外は、第１の従来技術の音声認識装置２０ａと同様である。
＜第３の従来技術＞
　以下、第２の従来技術に係る音声認識装置２０ｂに、第３の従来技術に係る音響モデル補正（再推定）機能を有する音響モデル再学習装置１０ｃを適用した場合を説明する。図６は、第３の従来技術に係る音響モデル再学習装置の構成の一例を示す図である。音響モデル再学習装置１０ｃは、特徴量抽出部１０１ｃ、音響モデル補正部１０４ｃを有する。また、音響モデル再学習装置１０ｃは、記憶部１５０ｃと接続される。
　記憶部１５０ｃは、言語モデルは記憶せず、音響モデルパラメータΛのみを記憶する。特徴量抽出部１０１ｃは、適応用音声データを読み込み、特徴量ベクトルＯｒを生成する。特徴量抽出部１０１ｃは、音声認識装置２０ｂの特徴量抽出部２０１ｂと同様の処理を行う。
　音響モデル再学習装置１０ｃが計算する、補正された音響モデルパラメータ＾Λは、認識音声データと同じ音響条件の適応用音声データと、適応用音声データに関するラベルとを用いて、音響モデルパラメータΛが補正されることにより計算される。ここで、ラベルとは、手作業により書き起こされたもの（教師あり）である場合、第１または第２の従来技術の音声認識により自動的に得られたもの（教師なし）である場合がある。教師ありのラベルを用いた音響モデルパラメータΛの補正を、教師あり補正という。また、教師なしのラベルを用いた音響モデルパラメータΛの補正を、教師なし補正という。以下、ラベルを－Ｓｒと表記する。
　音響モデル補正部１０４ｃは、記憶部１５０ｃから読み込んだ音響モデルパラメータΛ、特徴量抽出部１０１ｃにより生成された特徴量ベクトルＯｒ、入力されたラベル－Ｓｒを用い、音響モデルパラメータΛを補正（再推定）する。具体的には、音響モデル補正部１０４ｃは、適応データ（適応用音声データの特徴量ベクトルＯｒ）と、特徴量ベクトルＯｒと対応する正解シンボル系列Ｓｒを用い、下記（４）式の目的関数ＦΛが最大となるよう音響モデルパラメータ＾Λを再推定する。そして、再推定された音響モデルパラメータ＾Λは、例えば、第２の従来技術に係る音声認識装置２０ｂのＨＭＭ状態の出力確率計算部２０５ｂ（図４参照）で用いられる。
Figure JPOXMLDOC01-appb-M000004
　ここで、音響モデル補正部１０４ｃが用いる音響モデルは、ＮＮである。また、一般的に、目的関数ＦΛは、例えばCross　Entropyが用いられる。または、例えば、上記（４）式の最適化問題は、Stochastic　Gradient　Descent（ＳＧＤ）法で解き、そのための補正パラメータに対する微分は、文献３「S.　Haykin,　“NEURAL　NETWORKS:　A　COMPREHENSIVE　FOUNDATION,”　Prentice　Hall　PTR,　Upper　Saddle　River,　NJ,　USA,　2nd　edition,　1999.」に示されるように、Error　Backpropagationアルゴリズムにより計算できる。この場合、ＳＧＤの変数であるLearning　Rateとして、例えば0.0001等の微小値がしばしば用いられる。
　図７は、第３の従来技術に係る音声モデル再学習処理の一例を示すフローチャートである。まず、音響モデル再学習装置１０ｃは、記憶部１５０ｃから、音響モデルパラメータΛを読み込む（ステップＳ１０１ｃ）。次に、音響モデル再学習装置１０ｃは、図示しない記憶部、例えば音声認識装置２０ｂの記憶部２５０ｂ（図４参照）から、言語モデルを読み込む（ステップＳ１０２ｃ）。次に、音響モデル再学習装置１０ｃは、適応用音声データを読み込む（ステップＳ１０３ｃ）。次に、音響モデル再学習装置１０ｃは、正解シンボル系列Ｓｒを読み込む（ステップＳ１０４ｃ）。次に、音響モデル再学習装置１０ｃは、適応用音声データから特徴量を抽出し、特徴量ベクトルＯｒを生成する（ステップＳ１０５ｃ）。次に、音響モデル再学習装置１０ｃは、特徴量ベクトルＯｒ、入力されたラベル－Ｓｒを用い、音響モデルパラメータΛを補正（再推定）する（ステップＳ１０６ｃ）。次に、音響モデル再学習装置１０ｃは、音響モデルパラメータΛを補正した音響モデルパラメータ＾Λを再推定し、出力する（ステップＳ１０７ｃ）。
［実施形態］
　以下、本願が開示する音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラムの実施形態を説明する。以下の実施形態は、一例を示すに過ぎず、本願が開示する技術を限定するものではない。また、以下に示す実施形態およびその他の実施形態は、矛盾しない範囲で適宜組み合わせてもよい。
＜実施形態の数理的背景＞
　文献４「M.　Delcroix,　K.　Kinoshita,　T.　Hori,　T.　Nakatani,　　“Context　adaptive　deep　neural　networks　for　fast　acoustic　model　adaptation,”　in　Proc.　IEEE　International　Conference　on　Acoustics,　Speech　and　Signal　Processing　(ICASSP),　2015　,　pp.4535-4539,　2015．」には、パラメータを音響条件特徴量と関連付けて学習する音響モデルであるＣＡＤＮＮ（Context　Adaptive　Deep　Neural　Network）が記載されている。
　ＣＡＤＮＮの音響モデルパラメータは、外部から与えられる音響条件特徴量に関係付けられており、その特徴量に依存して変化する。ＣＡＤＮＮの学習においては、まず、音声の特徴量と音響条件特徴量を用いて、各音響条件に対応した音響モデルパラメータが学習される。また、音声認識時には、認識対象の音声の音響条件特徴量が計算され、音響条件特徴量および事前に学習した音響モデルパラメータを基に、音響条件に合うような新たな音響モデルパラメータが自動的に推定・決定される。
　このとき、音響条件特徴量は、正解ラベル（話者ＩＤやトランスクリプション）を使わずに計算でき、また少ない音声データ（数秒程度）からも計算することができるという特長を持つため、結果として高速な音響モデル適応が可能になる。しかし、ＣＡＤＮＮで用いる音響条件特徴量の計算部は、音声認識装置とは独立に設計されたものであり、音声認識性能最適化の基準で設計されたものではなかった。その結果、従来の音響条件特徴量を用いて高精度な音声認識を行うことは困難であった。
　そこで、実施形態では、ＣＡＤＮＮにおける上記の問題を改善した音響モデルであるＣＡＤＮＮ－ＪＴ（Context　Adaptive　Deep　Neural　Network　with　joint　training）を用いる。ＣＡＤＮＮ－ＪＴによれば、音響条件特徴量の計算モデルのパラメータと音響モデルのパラメータの同時最適化を行うことができる。ＣＡＤＮＮ－ＪＴでは、例えば、音響条件特徴量の計算モデルがニューラルネットワークで表され、そのニューラルネットワークの出力層を従来のＣＡＤＮＮのニューラルネットワークの一部と結合する。これにより、音響条件特徴量の計算モデルを含む全ニューラルネットワークを、音声認識の最適化基準に基づき同時最適化することが可能となり、音声認識精度も改善される。以下、ＣＡＤＮＮ－ＪＴについて説明する。
（ＣＡＤＮＮの概要）
　図８は、従来の音響条件適応型音響モデルの概要の一例を示す図である。従来の音響条件適応型音響モデルであるＣＡＤＮＮは、図８に示すように、ＮＮの隠れ層は、音響条件特徴量を示すベクトル（以下、「音響条件特徴量ベクトル」と称す）の要素毎に分解された形になっている。図８では、例示として、１つの隠れ層（ｉ番目の隠れ層）が分解されている状態を示すが、少なくとも１つの隠れ層または全ての隠れ層を分解するとしてもよい。分解された隠れ層の線形変換後の出力は、下記（５）式のように計算する。
Figure JPOXMLDOC01-appb-M000005
　ただし、上記（５）式におけるｙｋ，ｎは、詳しくは後述するが、ｎ番目のフレームから抽出された音響条件特徴量ベクトルｙｎ∈ＲＫ（Ｋ次元実数空間）のｋ番目（ｋは１，２，・・・，Ｋなる自然数、Ｋは音響条件の数を示す自然数）の要素である。以下、音響条件特徴量ｙｋ，ｎと称す。また、上記（５）式における重み行列Ｗｉ，ｋは、ｉ番目の隠れ層における音響条件特徴量ｙｋ，ｎに対する線形変換行列である。また、上記（５）式におけるバイアスベクトルｂｉ，ｋは、ｉ番目の隠れ層における音響条件特徴量ｙｋ，ｎに関するバイアスベクトルである。このように、ＣＡＤＮＮは、隠れ層をＫ個の音響条件の要素に分解して表現する。なお、音響条件特徴量毎の隠れ層の分解として、下記（６）式または下記（７）式に示すものであってもよい。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　音声認識時の音響モデルパラメータは、下記（８－１）式および（８－２）式のように計算され、音声認識時において、音響条件特徴量ｙｋ，ｎに基づき、音響条件に自動適応することになる。
Figure JPOXMLDOC01-appb-M000008
　音響条件特徴量ｙｋ，ｎは、音響条件を表す。ＣＡＤＮＮでは、音響条件特徴量ｙｋ，ｎは、音声認識装置とは独立した系で計算されていた。例えば、話者適応の場合、学習の時の音声データを話者クラスごとに分割すれば、各話者クラスのモデルが学習可能であった（文献５「N.　Dehak　et　al.,　“Front-End　Factor　Analysis　for　Speaker　Verification,”　IEEE　Trans.　Audio,　Speech,　Language　Process.,　Vol.　19,　No.　4,　pp.　788－798,　2011.」参照）。ＣＡＤＮＮでは、各話者クラスのモデルを用いて、各テスト発話について各話者クラスの事後確率を計算し、それをｙｋ，ｎとしていた。
（ＣＡＤＮＮ－ＪＴの概要）
　図９は、実施形態に係る音響条件適応型音響モデルの概要の一例を示す図である。図９に示すように、実施形態に係る音響条件適応型音響モデルであるＣＡＤＮＮ－ＪＴでは、音響条件を表す音響条件特徴量の計算モデルにはニューラルネットワークを用い、そのニューラルネットワークのパラメータは従来のＣＡＤＮＮのパラメータと同時最適化される。すなわち、音響モデル、および音響条件の計算モデルは、１つ以上の隠れ層を有するニューラルネットワークで表され、音響条件の計算モデルの出力層は、音響モデルに結合されている。
　音響条件特徴量の計算モデルの入力としては、第２入力特徴量ｕｎが用いられる。ベクトルｕｎは、話者認識等に頻繁に用いられる話者特徴を現すivector等や、音声の特徴量Ｏｎとすることができる。なお、第２入力特徴量ｕｎは、入力特徴量と同じものであってもよいし、異なるものであってもよい。また、音響条件特徴量の計算モデルによって計算された音響条件特徴量ｙｋ，ｎは、下記（９）式のように計算される。
Figure JPOXMLDOC01-appb-M000009
　ここで、ベクトルｙｎ＝［ｙ１，ｎ，・・・，ｙｋ，ｎ，・・・，ｙＫ，ｎ］は、Ｋ次元の音響条件特徴量ベクトルである。また、ベクトルｕｎ＝［ｕ１，ｎ，・・・，ｕＪ，ｎ］は、Ｊ次元の第２入力特徴量である。また、関数ｆ（）は、音響条件特徴量計算のための関数であり、Ωは、関数ｆ（）のパラメータである。ここでは、ｆ（）は多層ニューラルネットワーク（ＤＮＮ）の場合を述べるが、ｆ（）は、リカレントニューラルネットワーク（ＲＮＮ）や、ＣＮＮ（Convolutional　Neural　Network）であってもよい。
　ｆ（）をＤＮＮとした場合、Ω＝｛Ｗ´ｉ´，ｂ´ｉ´，ｉ´，・・・，Ｉ´｝は式（２）に表されるような、ニューラルネットワークの各層における線形変換のためのパラメータの集合であり、Ｗ´ｉ´は変換行列、ｂ´ｉ´はバイアスベクトル、Ｉ´は音響条件特徴量の計算モデルのニューラルネットワークの隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数である。また、隠れ層のアクティベーション関数としては、シグモイド関数等を用いることができる。また、出力層の活性化関数（アクティベーション関数）としては、ソフトマックス関数や線形関数等を用いることができる。
　音響条件特徴量ｙｋ，ｎを話者クラスの事後確率とすることで、音響条件として各話者を表すことができる。また、音響条件特徴量ｙｋ，ｎを雑音環境クラスの事後確率とすることで、音響条件として雑音環境を表すことができる。また、ｙｋ，ｎは、基本的に数秒の音声データで計算できる特徴量であるため、数秒の音声データを用いることで、大量の音響モデルパラメータ（Ｗｉ，ｂｉ）を音響条件に適応できることになる。
　各隠れ層の出力は、線形変換の出力ベクトルｚｉ，ｎに対してアクティベーション関数を適用し、下記（１０）式のように計算される。
Figure JPOXMLDOC01-appb-M000010
　音響条件特徴量ｙｋ，ｎ毎に分解された各隠れ層の線形変換のパラメータである重み行列Ｗｉ，ｋとバイアスベクトルｂｉ，ｋ、および音響条件特徴量計算のための関数のパラメータΩは、同時に最適化される。
　これは、音響条件特徴量の計算結果は、因数分解された隠れ層における計算過程に使用されているためである（（５）式や（９）式を参照）。すなわち、音響条件特徴量の計算モデルのニューラルネットワークと因数分解された隠れ層は結合しているため、従来のニューラルネットワークの学習手順（誤差逆伝搬（Error　backpropagation）およびＳＧＤ）（文献６「D.　Yu　and　L.　Deng,　“Automatic　Speech　Recognition：A　Deep　Learning　Approach,”Springer,2015.」参照）を用い、全ニューラルネットワークのパラメータを同時に最適化することができる。この場合の隠れ層の線形変換のパラメータの微分は、下記（１１－１）式および（１１－２）式のようになる。
Figure JPOXMLDOC01-appb-M000011
　ただし、上記（１１－１）式および（１１－２）式におけるＦは、最適化基準を表す（例えばCross　Entropy）。また、ベクトルδｉ，ｎは逆伝搬した誤差を表し、下記（１２）式のように計算する。Hadamard積は、行列またはベクトルの要素毎の積である。
Figure JPOXMLDOC01-appb-M000012
　上記（１２）式は、従来技術の誤差逆伝搬の式と同じであるが、上記（１２）式で用いられる重み行列Ｗｉ＋１，ｎとベクトルｚｉ，ｎは、ＣＡＤＮＮ－ＪＴで新たに導入した上記（８－１）式および（８－２）式と、上記（５）式（あるいは上記（６）式もしくは上記（７）式）に基づき計算される。エラーベクトルδＩ，ｎはエラー項である。エラーベクトルδＩ，ｎは、入力特徴量ベクトルＹとＮＮに基づき計算されるネットワークの出力（ＨＭＭ状態の出力確率）であるベクトルｘｉ，ｎと、入力された正解シンボル系列Ｓｒとから得られる正解ＨＭＭ状態ｄｎに基づき、従来技術と同様に、逆伝搬した誤差として、下記（１３）式のように計算される。
Figure JPOXMLDOC01-appb-M000013
　また、音響条件特徴量の計算モデルのニューラルネットワークの隠れ層における線形変換のためのパラメータの微分は、下記（１４－１）式および（１４－２）式のようになる。
Figure JPOXMLDOC01-appb-M000014
　ただし，δ´ｉ，ｎは、音響条件特徴量の計算モデルのニューラルネットワークに対して逆伝搬されてきた誤差を表し、下記（１５）式のように計算される。
Figure JPOXMLDOC01-appb-M000015
　なお、（１５）式の逆伝搬されてきた誤差δ´Ｉ´，ｎは、下記（１６）式のように計算される。
Figure JPOXMLDOC01-appb-M000016
　このとき、δ´ｉ，ｐ，ｎは、ｐ次元目のｉ層目の逆伝搬した誤差であり、ｚｋ，ｉ，ｐ，ｎは、ｚｋ，ｉ，ｎのｐ次元目である。ｚｋ，ｉ，ｎは、下記（１７）式のように計算される。
Figure JPOXMLDOC01-appb-M000017
＜実施形態の一例＞
（実施形態に係る音響モデル学習装置の構成）
　上記実施形態の数理的背景を踏まえ、以下、実施形態の一例を説明する。図１０は、実施形態に係る音響モデル学習装置の構成の一例を示す図である。図１０に示すように、実施形態に係る音響モデル学習装置１０は、特徴量抽出部１０１、第２特徴量抽出部１０２、条件特徴量計算部１０３、音響モデルパラメータ補正部１０４、ＨＭＭ状態の出力確率計算部１０５、エラー計算部１２１、音響モデルパラメータ微分値計算部１２２、音響モデルパラメータ更新部１２３、条件特徴量計算部のパラメータ微分値計算部１２４、条件特徴量計算部のパラメータ更新部１２５、収束判定部１２６を有する。また、音響モデル学習装置１０は、記憶部１５０と接続される。
　記憶部１５０は、音響モデルを特徴付けるパラメータとして、音響モデルパラメータΛ＝｛Ｗ１，ｎ，ｂ１，ｎ|ｎは、１，２，・・・，Ｎなる自然数｝を記憶する。ただし、Ｎは、後述のフレーム毎の音響条件特徴量ベクトルｙｎを計算する対象である一発話の総フレーム数である。
　また、記憶部１５０は、音響条件の計算モデルを特徴付けるパラメータとして、音響条件の計算モデルパラメータΩ＝｛Ｗ´ｉ´，ｂ´ｉ´，ｉ´，・・・，Ｉ´｝を記憶する。ただし、Ｎは、後述のフレーム毎の音響条件特徴量ベクトルｙｎを計算する対象である一発話の総フレーム数である。また、（９）式の説明において述べた通り、Ｗ´ｉ´は変換行列、ｂ´ｉ´はバイアスベクトル、Ｉ´は音響条件特徴量の計算モデルのニューラルネットワークの隠れ層の総数に１を足した数、すなわち隠れ層と出力層の総数である。音響条件の計算モデルは、後述の音響条件特徴量ベクトル－Ｙを生成するためのモデルである。例えば、音響条件特徴量は、話者別の特徴、話者の性別や、雑音や残響に関する音響環境等である。
　特徴量抽出部１０１は、マイク等で観測した学習用音声データを読み込み、学習用音声データから特徴量ベクトルＯを生成する。すなわち、特徴量抽出部１０１は、学習用音声データから特徴量を抽出する。特徴量抽出部１０１の具体的な処理は、第１の従来技術の特徴量抽出部２０１ａ、第２の従来技術の特徴量抽出部２０１ｂ、第３の従来技術の特徴量抽出部１０１ｃと同様である。
　第２特徴量抽出部１０２は、学習用音声データを読み込み、下記（１８）式に示すような第２特徴量ベクトル系列Ｕを抽出し、条件特徴量計算部１０３に出力する。第２特徴量抽出部１０２は、特徴量抽出部１０１と同様の処理を行い、特徴量ベクトルＯを第２特徴量ベクトルとして抽出するようにしてもよいし、例えばivector等の特徴量ベクトルＯとは異なる特徴量を抽出するようにしてもよい。
Figure JPOXMLDOC01-appb-M000018
　なお、（１８）式において、Ｎは第２特徴量ベクトルを計算する対象である一発話の総フレーム数であり、ｎは１からＮの整数である。つまり、第２特徴量ベクトル系列Ｕは１からＮフレーム目までの各フレームでの第２特徴量を含んでいる。第２特徴量は、例えば話者性や環境（雑音、残響）の特徴等を表すものである。また、各フレームでの第２特徴量は、Ｌ次元のベクトルで表現される。また、各特徴量ベクトルｕｎは、各フレームで異なる値を取るのではなく、数秒の間は同じ値に固定してもよいし、一発話の間は同一の値に固定してもよい。
　条件特徴量計算部１０３は、音響条件の計算モデルを特徴付ける音響条件の計算モデルパラメータΩ、および第２特徴量抽出部１０２で抽出された第２特徴量を読み込み、（９）式により音声データの音響条件の特徴を示す音響条件特徴量を計算する。また、条件特徴量計算部１０３は、計算した音響条件特徴量を、下記（１９）式のような特徴量ベクトルＹとして音響モデルパラメータ補正部１０４に出力する。
Figure JPOXMLDOC01-appb-M000019
　ただし、上記（１９）式において、Ｎは、フレーム毎の音響条件特徴量ベクトルｙｎを計算する対象である一発話の総フレーム数であり、ｎは１からＮの自然数である。つまり、音響条件特徴量ベクトルＹは、１からＮフレーム目までの各フレームの音響条件特徴量ベクトルｙｎを含み、各フレームの音響条件特徴量ベクトルｙｎはＫ次元のベクトルで表現される。なお、各フレームの音響条件特徴量ベクトルｙｎは各フレームで異なる値を取るのではなく、数秒の間は同じ値に固定してもよいし、一発話の間は同一の値に固定してもよい。
　音響モデルパラメータ補正部１０４は、記憶部１５０から読み込んだ音響モデルを特徴付ける音響モデルパラメータΛを、条件特徴量計算部１０３により生成された音響条件特徴量ベクトルＹに基づき、上記（８－１）式および（８－２）式により補正する。なお、音響モデルパラメータ補正部１０４により補正される音響モデルパラメータΛの初期値は、乱数で決めたパラメータまたは第１乃至第３の従来技術により学習された音響モデルパラメータ等とする。音響モデルパラメータ補正部１０４は、補正により生成された補正後のパラメータ＾ΛをＨＭＭ状態の出力確率計算部１０５へ出力する。
　ＨＭＭ状態の出力確率計算部１０５は、音響モデルパラメータ補正部１０４により補正された音響モデルパラメータ＾Λと、特徴量抽出部１０１により生成された特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する。ＨＭＭ状態の出力確率計算部１０５の具体的な処理は、第１の従来技術のＨＭＭ状態の出力確率計算部２０５ａ、第２の従来技術のＨＭＭ状態の出力確率計算部２０５ｂと同様である。
　エラー計算部１２１は、ＨＭＭ状態の出力確率計算部１０５により計算された各ＨＭＭ状態の出力確率と、入力された正解シンボル系列－Ｓｒ（正解ＨＭＭ状態）とに基づき、上記（１３）式によりエラーベクトルδＩ，ｎを計算する。また、エラー計算部１２１は、上記（１６）式により、音響条件特徴量の計算モデルのニューラルネットワークに対して逆伝搬されてきた誤差を表すエラーベクトルδ´Ｉ´，ｎを計算する。
　音響モデルパラメータ微分値計算部１２２は、エラー計算部１２１の計算によるエラーベクトルδＩ，ｎと、音響モデルパラメータ補正部１０４により補正された音響モデルパラメータ＾Λに基づき、音響モデルパラメータ微分値を計算する。音響モデルパラメータ微分値計算部１２２は、逆伝搬した誤差を示す上記（１１－１）式、（１１－２）式および（１２）式により音響モデルパラメータ微分値を計算する。または、音響モデルパラメータ微分値計算部１２２は、従来のStochastic　Gradient　Descent（ＳＧＤ）法で計算することもできる（上記文献６参照）。また、パラメータ学習の高速化のためによく用いられるmomentumやL2　Regularizationをあわせて用いることもできる。
　音響モデルパラメータ更新部１２３は、記憶部１５０から読み込んだ音響モデルパラメータΛと、音響モデルパラメータ微分値計算部１２２により計算された音響モデルパラメータ微分値とに基づき、下記（２０－１）式および（２０－２）式により音響モデルパラメータΛを更新する。このように、音響モデルパラメータ更新部１２３は、補正後の音響モデルパラメータおよび特徴量を基に計算された各値を基に音響モデルパラメータを更新する。
Figure JPOXMLDOC01-appb-M000020
　ただし、上記（２０－１）式および（２０－２）式において、重み行列~Ｗｉ，ｋおよびバイアスベクトル~ｂｉ，ｋは、更新した音響モデルパラメータ~Λであり、重み行列－Ｗｉ，ｋおよびバイアスベクトル－ｂｉ，ｋは１つ前のステップで得られた音響モデルパラメータ－Λである。また、上記（２０－１）式および（２０－２）式において、ηはＳＧＤの変数であるLearning　Rateであり、例えば0.1～0.0001等の微小値である。ηは、音響モデルパラメータ補正用パラメータである。
　条件特徴量計算部のパラメータ微分値計算部１２４は、エラー計算部１２１の計算によるエラーベクトルδＩ，ｎと、音響条件の計算モデルパラメータΩに基づき、音響条件の計算モデルパラメータ、すなわち条件特徴量計算部のパラメータ微分値を計算する。条件特徴量計算部のパラメータ微分値計算部１２４は、逆伝搬した誤差を示す上記（１４－１）式、（１４－２）式および（１５）式により条件特徴量計算部のパラメータ微分値を計算する。また、条件特徴量計算部のパラメータ微分値計算部１２４は、音響モデルパラメータ微分値計算部１２２と同様の方法を用いることもできる。
　条件特徴量計算部のパラメータ更新部１２５は、記憶部１５０から読み込んだ音響条件の計算モデルパラメータΩと、条件特徴量計算部のパラメータ微分値計算部１２４により計算された条件特徴量計算部のパラメータ微分値とに基づき、下記（２１－１）式および（２１－２）式により音響条件の計算モデルパラメータΩを更新する。このように、条件特徴量計算部のパラメータ更新部１２５は、補正後パラメータおよび特徴量を基に計算された各値を基に音響条件の計算モデルパラメータを更新する。
Figure JPOXMLDOC01-appb-M000021
　ただし、上記（２１－１）式および（２１－２）式において、重み行列~Ｗ´ｉ，ｋおよびバイアスベクトル~ｂ´ｉ，ｋは、更新した音響条件の計算モデルパラメータ~Ωであり、重み行列－Ｗ´ｉ，ｋおよびバイアスベクトル－ｂ´ｉ，ｋは、更新前の音響条件の計算モデルパラメータ－Ωである。また、上記（２１－１）式および（２１－２）式において、η´はＳＧＤの変数であるLearning　Rateであり、例えば0.1～0.0001等の微小値である。η´は、音響条件の計算モデルパラメータ補正用パラメータである。
　収束判定部１２６は、音響モデルパラメータ更新部１２３により更新された音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωについて、音響モデルパラメータΛおよび音響条件の計算モデルパラメータΩの学習（推定）が所定の収束条件を満たすか否かを判定する。収束判定部１２６は、所定の収束条件を満たすと判定した場合には、収束条件充足判定時の音響モデルパラメータ~Λを、音響モデル学習装置１０の出力値として出力する。音響モデル学習装置１０から出力された音響モデルパラメータ~Λは、例えば、記憶部１５０に記憶される。
　一方、収束判定部１２６は、所定の収束条件を満たさないと判定した場合には、収束条件充足判定時の音響モデルパラメータ~Λを音響モデルパラメータ補正部１０４に出力し、さらに収束条件充足判定時の音響条件の計算モデルパラメータ~Ωを条件特徴量計算部１０３に出力し、条件特徴量計算部１０３、音響モデルパラメータ補正部１０４、ＨＭＭ状態の出力確率計算部１０５、エラー計算部１２１、音響モデルパラメータ微分値計算部１２２、音響モデルパラメータ更新部１２３、収束判定部１２６が処理を繰り返す。このとき、所定の収束条件を満たすと判定した時の音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωは、さらに記憶部１５０に記憶され、次回の処理における各パラメータの初期値として用いられるようにしてもよい。
　なお、収束判定部１２６は、例えば、（１）１つ前のステップで得られた音響モデルパラメータ－Λまたは音響条件の計算モデルパラメータ－Ωと、更新された音響モデルパラメータ~Λまたは音響条件の計算モデルパラメータ~Ωとの差分が閾値以下になった場合、（２）収束条件充足判定の繰り返し回数が所定の回数以上になった場合、（３）学習用音声データの一部を用いて性能を評価した際に、所定の性能指標が所定値以上悪化した場合等のいずれかの所定条件に基づき、収束条件充足判定を行う。
（実施形態に係る音響モデル学習処理）
　図１１は、実施形態に係る音響モデル学習処理の一例を示すフローチャートである。まず、音響モデル学習装置１０は、記憶部１５０から音響モデル（音響モデルパラメータΛ）を読み込む（ステップＳ１０１）。次に、音響モデル学習装置１０は、記憶部１５０から音響条件の計算モデル（音響条件の計算モデルパラメータΩ）を読み込む（ステップＳ１０２）。次に、音響モデル学習装置１０は、学習用音声データを読み込む（ステップＳ１０３）。次に、音響モデル学習装置１０は、正解シンボル系列－Ｓｒを読み込む（ステップＳ１０４）。
　次に、音響モデル学習装置１０は、学習用音声データから特徴量ベクトルＯを抽出する（ステップＳ１０５）。次に、音響モデル学習装置１０は、学習用音声データから第２特徴量ベクトル系列Ｕを抽出する（ステップＳ１０６）。次に、音響モデル学習装置１０は、音響条件の計算モデルパラメータΩおよび第２特徴量ベクトル系列から、音響条件特徴量ベクトルＹを上記（９）式により計算する（ステップＳ１０７）。次に、音響モデル学習装置１０は、記憶部１５０から読み込んだ音響モデルパラメータΛを、音響条件特徴量ベクトルＹに基づき、上記（８－１）式および（８－２）式により補正する（ステップＳ１０８）。次に、音響モデル学習装置１０は、補正された音響モデルパラメータΛと、特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する（ステップＳ１０９）。
　次に、音響モデル学習装置１０は、各ＨＭＭ状態の出力確率と、入力された正解シンボル系列－Ｓｒとに基づき、上記（１３）式によりエラーベクトルδＩ，ｎを計算し、また、上記（１６）式によりエラーベクトルδ´Ｉ´，ｎを計算する（ステップＳ１１０）。
　次に、音響モデル学習装置１０は、エラーベクトルδＩ，ｎと、補正された音響モデルパラメータΛに基づき、音響モデルパラメータ微分値を計算する（ステップＳ１１１）。次に、音響モデル学習装置１０は、記憶部１５０から読み込んだ音響モデルパラメータΛと、音響モデルパラメータ微分値とに基づき、上記（２０－１）式および（２０－２）式により音響モデルパラメータΛを更新する（ステップＳ１１２）。
　次に、音響モデル学習装置１０は、エラーベクトルδ´Ｉ´，ｎと、音響条件の計算モデルパラメータΩに基づき、音響条件の計算モデルパラメータ微分値を計算する（ステップＳ１１３）。次に、音響モデル学習装置１０は、記憶部１５０から読み込んだ音響条件の計算モデルパラメータΩと、音響条件の計算モデルパラメータ微分値とに基づき、上記（２１－１）式および（２１－２）式により音響条件の計算モデルパラメータΩを更新する（ステップＳ１１４）。
　次に、音響モデル学習装置１０は、更新された音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωについて、音響モデルパラメータΛおよび音響条件の計算モデルパラメータΩの学習が所定の収束条件を満たすか否かを判定する（ステップＳ１１５）。音響モデル学習装置１０は、音響モデルパラメータΛおよび音響条件の計算モデルパラメータΩの学習が所定の収束条件を満たす場合（ステップＳ１１５Ｙｅｓ）、ステップＳ１１６へ処理を移す。一方、音響モデル学習装置１０は、音響モデルパラメータΛまたは音響条件の計算モデルパラメータΩの学習が所定の収束条件を満たさない場合（ステップＳ１１５Ｎｏ）、ステップＳ１０７またはステップＳ１０８へ処理を移す。ステップＳ１１６では、音響モデル学習装置１０は、所定の収束条件を満たすと判定した時の音響モデルパラメータ~Λを、音響モデル学習装置１０の出力値として出力する（ステップＳ１１６）。このとき、所定の収束条件を満たすと判定した時の音響モデルパラメータ~Λおよび音響条件の計算モデルパラメータ~Ωは、さらに記憶部１５０に記憶され、次回の処理における各パラメータの初期値として用いられるようにしてもよい。
（実施形態に係る音声認識装置の構成）
　図１２は、実施形態に係る音声認識装置の構成の一例を示す図である。図１２に示すように、実施形態に係る音声認識装置２０は、特徴量抽出部２０１、第２特徴量抽出部２０２、条件特徴量計算部２０３、音響モデルパラメータ補正部２０４、ＨＭＭ状態の出力確率計算部２０５、単語列検索部２０６を有する。また、音声認識装置２０は、記憶部２５０と接続される。
　記憶部２５０は、音響モデル学習装置１０により更新された音響モデル（音響モデルパラメータΛ）、音響条件の計算モデル（音響条件の計算モデルパラメータΩ）、言語モデル、音響モデルパラメータ補正用パラメータη、音響条件の計算モデルパラメータ補正用パラメータη´をあらかじめ記憶する。
　特徴量抽出部２０１は、マイク等で観測した認識用音声データを読み込み、認識用音声データから特徴量を抽出し、特徴量ベクトルＯを生成する。すなわち、特徴量抽出部２０１は、認識用音声データから特徴量を抽出する。特徴量抽出部２０１の具体的な処理は、音響モデル学習装置１０の特徴量抽出部１０１と同様である。
　第２特徴量抽出部２０２は、マイク等で観測した認識用音声データを読み込み、認識用音声データから特徴量を抽出し、第２特徴量ベクトル系列Ｕを生成する。すなわち、特徴量抽出部２０１は、認識用音声データから特徴量を抽出する。特徴量抽出部２０１の具体的な処理は、音響モデル学習装置１０の第２特徴量抽出部１０２と同様である。
　条件特徴量計算部２０３は、音響条件の計算モデルパラメータΩ、および第２特徴量抽出部２０２で抽出された第２特徴量を読み込み、（９）式により音響条件特徴量を計算する。また、条件特徴量計算部２０３は、計算した音響条件特徴量を、（１９）式のような特徴量ベクトルＹとして音響モデルパラメータ補正部２０４に出力する。条件特徴量計算部２０３の具体的な処理は、音響モデル学習装置１０の条件特徴量計算部１０３と同様である。
　音響モデルパラメータ補正部２０４は、記憶部２５０から読み込んだ音響モデルパラメータΛと、条件特徴量計算部２０３によりで生成された音響条件特徴量ベクトルＹとに基づき、上記（８－１）式および（８－２）式により、音響モデルパラメータΛを補正する。音響モデルパラメータ補正部２０４の具体的な処理は、音響モデル学習装置１０の音響モデルパラメータ補正部１０４と同様である。
　ＨＭＭ状態の出力確率計算部２０５は、音響モデルパラメータ補正部２０４により補正された音響モデルパラメータ＾Λと、特徴量抽出部２０１により生成された特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する。ＨＭＭ状態の出力確率計算部２０５の具体的な処理は、音響モデル学習装置１０のＨＭＭ状態の出力確率計算部１０５と同様である。
　単語列検索部２０６は、特徴量および補正後パラメータを基に計算されたＨＭＭ状態の出力確率と、言語モデルの生成確率と、を用いて、単語列を出力する。すなわち、単語列検索部２０６は、ＨＭＭ状態の出力確率計算部２０５により計算された各ＨＭＭ状態の出力確率をもとに、記憶部２５０から読み込んだ言語モデルを検索し、音声認識結果として単語列＾Ｓを出力する。単語列検索部２０６の具体的な処理は、第１の従来技術の音声認識装置２０ａの単語列検索部２０６ａ、第２の従来技術の音声認識装置２０ｂの単語列検索部２０６ｂと同様である。
（実施形態に係る音声認識処理）
　図１３は、実施形態に係る音声認識処理の一例を示すフローチャートである。まず、音声認識装置２０は、記憶部２５０から音響モデル（音響モデルパラメータΛ）を読み込む（ステップＳ２０１）。次に、音声認識装置２０は、記憶部２５０から音響条件の計算モデルを読み込む（ステップＳ２０２）。次に、音声認識装置２０は、記憶部２５０から言語モデルを読み込む（ステップＳ２０３）。次に、音声認識装置２０は、認識用音声データを読み込む（ステップＳ２０４）。次に、音声認識装置２０は、記憶部２５０から音響モデルパラメータ補正用パラメータηおよび音響条件の計算モデルパラメータ補正用パラメータη´を読み込む（ステップＳ２０５）。
　次に、音声認識装置２０は、学習用音声データから特徴量ベクトルＯを抽出する（ステップＳ２０６）。次に、音声認識装置２０は、学習用音声データから第２特徴量ベクトル系列Ｕを抽出する（ステップＳ２０７）。次に、音声認識装置２０は、音響条件の計算モデルパラメータΩおよび第２特徴量ベクトル系列から、音響条件特徴量ベクトルＹを上記（９）式により計算する（ステップＳ２０８）。次に、音声認識装置２０は、記憶部２５０から読み込んだ音響モデルパラメータΛを、音響条件特徴量ベクトルＹに基づき、上記（８－１）式および（８－２）式により補正する（ステップＳ２０９）。
　次に、音声認識装置２０は、補正された音響モデルパラメータΛと、特徴量ベクトルＯに基づき、各ＨＭＭ状態の出力確率を計算する（ステップＳ２１０）。次に、音声認識装置２０は、各ＨＭＭ状態の出力確率をもとに、記憶部２５０から読み込んだ言語モデルを検索する（ステップＳ２１１）。次に、音声認識装置２０は、ステップＳ２１１の検索結果から、音声認識結果として単語列＾Ｓを出力する（ステップＳ２１２）。
（その他の実施形態）
　実施形態では、ＤＮＮ（ＣＡＤＮＮ）に基づく音響モデルを音響条件の計算モデルと結合させる場合について説明したが、ＤＮＮに限らず、ＣＮＮ（Convolutional　Neural　Network）、ＲＮＮ（Recurrent　Neural　Network）、ＢＬＳＴＭ（Bidirectional　Long　Short-Term　Memory）のニューラルネットワーク等、種々のニューラルネットワークに基づく音響モデルを音響条件の計算モデルと結合させ、同様の定式化を行うことが可能である。また、本発明における音響モデルは、ＨＭＭに基づくものに限られずニューラルネットワークを用いて出力確率を計算する任意の音響モデルとすることができる。例えば、本発明における音響モデルは、ＣＴＣ（Connectionist　Temporal　Classification）やencoder-decoderに基づくモデルであってもよい。
（実施形態による効果）
　実施形態の音響モデル学習装置１０において、特徴量抽出部１０１および第２特徴量抽出部１０２は、音声データの特徴を示す特徴量を抽出する。また、条件特徴量計算部１０３は、ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および特徴量を基に、音声データの音響条件の特徴を示す音響条件特徴量を、音響条件の計算モデルを用いて計算する。また、音響モデルパラメータ補正部１０４は、音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する。また、音響モデルパラメータ更新部１２３は、補正後パラメータおよび特徴量を基に音響モデルパラメータを更新する。また、条件特徴量計算部のパラメータ更新部１２５は、補正後パラメータおよび特徴量を基に音響条件計算モデルパラメータを更新する。
　これにより、実施形態は、音響条件特徴量を、正解ラベル（話者ＩＤやトランスクリプション）を用いず計算でき、また、少ない音声データ（数秒程度）から計算することができるという特長を持つため、結果として高速な音響モデル適応が可能となる。
　すなわち、実施形態は、少ない音声データを用いて音響モデルを音響条件に適応させることができ、従来技術のように音響モデルを音響条件毎に切り替えることなく、従来技術より高い音声認識性能を達成できる。
　また、実施形態は、音響モデルを表すニューラルネットワークにおいて逆伝搬してきた誤差を基に、音響条件の計算モデルを表すニューラルネットワークの最適化を行うことができるため、音響条件特徴量の計算モデルのパラメータと音響モデルのパラメータの同時最適化を行うことができる。したがって、音響条件特徴量の計算モデルを含む全ニューラルネットワークを音声認識の最適化基準に基づき同時最適化することが可能となり、音声認識精度が改善される。
　また、特徴量抽出部１０１および第２特徴量抽出部１０２は、特徴量として第１の特徴量、および第１の特徴量と異なる第２の特徴量を抽出するようにしてもよい。このとき、条件特徴量計算部１０３は、音響条件計算モデルパラメータおよび第２の特徴量を基に音響条件特徴量を計算する。また、音響モデルパラメータ更新部１２３は、補正後パラメータおよび第１の特徴量を基に音響モデルパラメータを更新する。また、条件特徴量計算部のパラメータ更新部１２５は、補正後パラメータおよび第２の特徴量を基に音響条件計算モデルパラメータを更新する。これにより、音響モデルおよび音響条件計算モデルに対してそれぞれ異なる特徴量を用いつつ同時最適化を行うことができるため、それぞれのモデルをより高精度に最適化できるような特徴量を用いて学習を行うことができるようになる。
　また、実施形態の音声認識装置２０において、音声認識用の特徴量抽出部２０１および第２特徴量抽出部２０２は、音声データの特徴を示す特徴量を抽出する。また、音声認識用の条件特徴量計算部２０３は、音響条件計算モデルパラメータ、および特徴量を基に、音声データの音響条件の特徴を示す音響条件特徴量を、音響条件の計算モデルを用いて計算する。また、音声認識用の音響モデルパラメータ補正部２０４は、音響モデルパラメータを、音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する。また、単語列検索部２０６は、特徴量および補正後パラメータを基に計算されたＨＭＭ状態の出力確率と、言語モデルの生成確率と、を用いて、単語列を出力する。音声認識の最適化基準を満たした音響条件計算モデルパラメータを用いて音声認識を行うことができるため、音声認識の精度が向上する。
　表１に、音声認識タスクＡＵＲＯＲＡ４において、各手法を用い、音響モデルを発話ごとに発話者に対して教師なし適応させた時の結果（単語誤り率）を表している。音響条件特徴量は一発話（数秒程度）ごとに計算しているため、少量データを基に高速な音響モデル適応を行っていることになる。また、用いた手法は、ベースライン（従来ニューラルネットワークに基づく音声認識）、ＣＡＤＮＮ、および実施形態で用いた本発明に係る手法であるＣＡＤＮＮ－ＪＴの３つである。ここで、表１から、本発明は従来音声認識（ベースライン）や従来ＣＡＤＮＮよりも高い性能を達成していることがわかる。
Figure JPOXMLDOC01-appb-T000022
（音響モデル学習装置および音声認識装置の装置構成について）
　図１０に示す音響モデル学習装置１０および図１２に示す音声認識装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要さない。すなわち、音響モデル学習装置１０および音声認識装置２０の機能の分散および統合の具体的形態は図示のものに限られず、全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。例えば、特徴量抽出部１０１および第２特徴量抽出部１０２は、一体の機能部であってもよく、ＨＭＭ状態の出力確率計算部１０５と条件特徴量計算部１０３にそれぞれ異なる特徴量を出力するようにしてもよい。なお、特徴量抽出部２０１および第２特徴量抽出部２０２についても同様である。
　また、例えば、音響モデル学習装置１０および音声認識装置２０は、一体の装置であってもよい。音響モデル学習装置１０および音声認識装置２０が一体の装置である場合には、音響モデル学習装置１０と音声認識装置２０において同様の機能を有する特徴量抽出部１０１と特徴量抽出部２０１、第２特徴量抽出部１０２と第２特徴量抽出部２０２、条件特徴量計算部１０３と条件特徴量計算部２０３、音響モデルパラメータ補正部１０４と音響モデルパラメータ補正部２０４、ＨＭＭ状態の出力確率計算部１０５とＨＭＭ状態の出力確率計算部２０５が同一の機能部であってもよい。
　また、音響モデル学習装置１０および音声認識装置２０における各処理は図示のものに限られず、処理順序および処理の統合もしくは分離することができる。例えば、実施形態におけるステップＳ１０１～Ｓ１０４ならびにステップＳ２０１～Ｓ２０５は処理順序を入れ替えてもよい。
　また、音響モデル学習装置１０および音声認識装置２０において行われる各処理は、全部または任意の一部が、ＣＰＵ等の処理装置および処理装置により解析実行されるプログラムにて実現されてもよい。音響モデル学習装置１０および音声認識装置２０において行われる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
　また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、実施形態において説明した各処理のうち、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述および図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
（プログラム）
　一実施形態として、音響モデル学習装置および音声認識装置は、パッケージソフトウェアやオンラインソフトウェアとして上記の音響モデル学習または音声認識を実行する音響モデル学習プログラムまたは音声認識プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の音響モデル学習プログラムまたは音声認識プログラムを情報処理装置に実行させることにより、情報処理装置を音響モデル学習装置または音声認識装置として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。
　また、音響モデル学習装置および音声認識装置は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の音響モデル学習または音声認識に関するサービスを提供するサーバ装置として実装することもできる。例えば、音響モデル学習装置は、学習用音声データを入力とし、音響条件の計算モデルを出力とする音響モデル学習サービスを提供するサーバ装置として実装される。また、例えば、音声認識装置は、認識用音声データを入力とし、認識結果の単語列を出力とする音声認識サービスを提供するサーバ装置として実装される。これらの場合、音響モデル学習装置および音声認識装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の音響モデル学習または音声認識に関するサービスを提供するクラウドとして実装することとしてもかまわない。
　図１４は、プログラムが実行されることにより、音響モデル学習装置または音声認識装置が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、音響モデル学習装置または音声認識装置の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、音響モデル学習装置または音声認識装置における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３およびプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３およびプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１０　音響モデル学習装置
　２０　音声認識装置
　１０１、２０１　特徴量抽出部
　１０２、２０２　第２特徴量抽出部
　１０３、２０３　条件特徴量計算部
　１０４、２０４　音響モデルパラメータ補正部
　１０５、２０５　ＨＭＭ状態の出力確率計算部
　１２１　エラー計算部
　１２２　音響モデルパラメータ微分値計算部
　１２３　音響モデルパラメータ更新部
　１２４　条件特徴量計算部のパラメータ微分値計算部
　１２５　条件特徴量計算部のパラメータ更新部
　１２６　収束判定部
　２０６　単語列検索部
　１５０、２５０　記憶部

Claims (7)

  1. 　音声データの特徴を示す音声特徴量を抽出する特徴量抽出工程と、
    　ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算工程と、
    　前記音響条件の計算モデルの出力層が結合されたニューラルネットワークで表される音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正工程と、
    　前記補正後パラメータおよび前記音声特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新工程と、
    　前記補正後パラメータおよび前記音声特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新工程と、
    　を含んだことを特徴とする音響モデル学習方法。
  2. 　前記特徴量抽出工程は、前記音声特徴量として第１の音声特徴量、および前記第１の音声特徴量と異なる第２の特徴量を抽出し、
    　前記音響条件特徴量計算工程は、前記音響条件計算モデルパラメータおよび前記第２の特徴量を基に前記音響条件特徴量を計算し、
    　前記音響モデルパラメータ更新工程は、前記補正後パラメータおよび前記第１の音声特徴量を基に前記音響モデルパラメータを更新し、
    　前記音響条件計算モデルパラメータ更新工程は、前記補正後パラメータおよび前記第２の特徴量を基に前記音響条件計算モデルパラメータを更新することを特徴とする請求項１に記載の音響モデル学習方法。
  3. 　請求項１に記載の音響モデル学習方法により更新された前記音響モデルパラメータおよび前記音響条件計算モデルパラメータと、単語列の生成確率をモデル化する言語モデルと、を用いて音声認識を行う音声認識方法であって、
    　音声データの特徴を示す音声特徴量を抽出する音声認識用特徴量抽出工程と、
    　前記音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音声認識用音響条件特徴量計算工程と、
    　前記音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音声認識用音響モデルパラメータ補正工程と、
    　前記音声特徴量および前記補正後パラメータを基に計算された前記音響モデルの出力確率と、前記言語モデルの生成確率と、を用いて、単語列を出力する単語列検索工程と、
    　を含んだことを特徴とする音声認識方法。
  4. 　音声データの特徴を示す音声特徴量を抽出する特徴量抽出部と、
    　ニューラルネットワークで表される音響条件の計算モデルを特徴付ける音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音響条件特徴量計算部と、
    　前記音響条件の計算モデルの出力層が結合された音響モデルを特徴付ける音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音響モデルパラメータ補正部と、
    　前記補正後パラメータおよび前記音声特徴量を基に前記音響モデルパラメータを更新する音響モデルパラメータ更新部と、
    　前記補正後パラメータおよび前記音声特徴量を基に前記音響条件計算モデルパラメータを更新する音響条件計算モデルパラメータ更新部と、
    　を有することを特徴とする音響モデル学習装置。
  5. 　請求項４に記載の音響モデル学習装置により更新された前記音響モデルパラメータおよび前記音響条件計算モデルパラメータと、単語列の生成確率をモデル化する言語モデルと、を用いて音声認識を行う音声認識装置であって、
    　音声データの特徴を示す音声特徴量を抽出する音声認識用特徴量抽出部と、
    　前記音響条件計算モデルパラメータ、および前記音声特徴量を基に、前記音声データの音響条件の特徴を示す音響条件特徴量を、前記音響条件の計算モデルを用いて計算する音声認識用音響条件特徴量計算部と、
    　前記音響モデルパラメータを、前記音響条件特徴量を基に補正したパラメータである補正後パラメータを生成する音声認識用音響モデルパラメータ補正部と、
    　前記音声特徴量および前記補正後パラメータを基に計算された前記音響モデルの出力確率と、前記言語モデルの生成確率と、を用いて、単語列を出力する単語列検索部と、
    　を有することを特徴とする音声認識装置。
  6. 　請求項４に記載の音響モデル学習装置としてコンピュータを機能させる音響モデル学習プログラム。
  7. 　請求項５に記載の音声認識装置としてコンピュータを機能させる音声認識プログラム。
PCT/JP2017/002740 2016-02-02 2017-01-26 音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラム Ceased WO2017135148A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017565514A JP6637078B2 (ja) 2016-02-02 2017-01-26 音響モデル学習装置、音響モデル学習方法及びプログラム
US16/074,367 US11264044B2 (en) 2016-02-02 2017-01-26 Acoustic model training method, speech recognition method, acoustic model training apparatus, speech recognition apparatus, acoustic model training program, and speech recognition program
CN201780009153.4A CN108701452B (zh) 2016-02-02 2017-01-26 音频模型学习方法、语音识别方法、音频模型学习装置、语音识别装置及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016018016 2016-02-02
JP2016-018016 2016-02-02

Publications (1)

Publication Number Publication Date
WO2017135148A1 true WO2017135148A1 (ja) 2017-08-10

Family

ID=59499773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002740 Ceased WO2017135148A1 (ja) 2016-02-02 2017-01-26 音響モデル学習方法、音声認識方法、音響モデル学習装置、音声認識装置、音響モデル学習プログラムおよび音声認識プログラム

Country Status (4)

Country Link
US (1) US11264044B2 (ja)
JP (1) JP6637078B2 (ja)
CN (1) CN108701452B (ja)
WO (1) WO2017135148A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018031812A (ja) * 2016-08-22 2018-03-01 日本電信電話株式会社 音声データ処理装置、音声データ処理方法および音声データ処理プログラム
WO2019171925A1 (ja) * 2018-03-08 2019-09-12 日本電信電話株式会社 言語モデルを利用する装置、方法及びプログラム
JP2020012928A (ja) * 2018-07-17 2020-01-23 国立研究開発法人情報通信研究機構 耐雑音音声認識装置及び方法、並びにコンピュータプログラム
CN111540364A (zh) * 2020-04-21 2020-08-14 同盾控股有限公司 音频识别方法、装置、电子设备及计算机可读介质
CN111862952A (zh) * 2019-04-26 2020-10-30 华为技术有限公司 一种去混响模型训练方法及装置
JP2022028772A (ja) * 2019-08-23 2022-02-16 サウンドハウンド，インコーポレイテッド オーディオデータおよび画像データに基づいて人の発声を解析する車載装置および発声処理方法、ならびにプログラム
US11551694B2 (en) 2021-01-05 2023-01-10 Comcast Cable Communications, Llc Methods, systems and apparatuses for improved speech recognition and transcription
JP2024547129A (ja) * 2021-12-22 2024-12-26 ビゴ テクノロジー ピーティーイー． リミテッド モデル訓練及び音色変換方法、装置、デバイス及び媒体

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3692634B1 (en) * 2017-10-04 2025-09-10 Google LLC Methods and systems for automatically equalizing audio output based on room characteristics
JP6891144B2 (ja) * 2018-06-18 2021-06-18 ヤフー株式会社 生成装置、生成方法及び生成プログラム
US10380997B1 (en) * 2018-07-27 2019-08-13 Deepgram, Inc. Deep learning internal state index-based search and classification
CN109979436B (zh) * 2019-04-12 2020-11-13 南京工程学院 一种基于频谱自适应法的bp神经网络语音识别系统及方法
CN110503944B (zh) * 2019-08-29 2021-09-24 思必驰科技股份有限公司 语音唤醒模型的训练和使用方法及装置
CN114627863B (zh) * 2019-09-24 2024-03-22 腾讯科技（深圳）有限公司 一种基于人工智能的语音识别方法和装置
CN110827801B (zh) * 2020-01-09 2020-04-17 成都无糖信息技术有限公司 一种基于人工智能的自动语音识别方法及系统
US12321853B2 (en) * 2020-01-17 2025-06-03 Syntiant Systems and methods for neural network training via local target signal augmentation
CN111415682A (zh) * 2020-04-03 2020-07-14 北京乐界乐科技有限公司 一种用于乐器的智能评测方法
CN111477249A (zh) * 2020-04-03 2020-07-31 北京乐界乐科技有限公司 一种用于乐器的智能评分方法
US11244668B2 (en) * 2020-05-29 2022-02-08 TCL Research America Inc. Device and method for generating speech animation
CN112466285B (zh) * 2020-12-23 2022-01-28 北京百度网讯科技有限公司 离线语音识别方法、装置、电子设备及存储介质
CN113035177B (zh) * 2021-03-11 2024-02-09 平安科技（深圳）有限公司 声学模型训练方法及装置
CN113129870B (zh) * 2021-03-23 2022-03-25 北京百度网讯科技有限公司 语音识别模型的训练方法、装置、设备和存储介质
CN113327585B (zh) * 2021-05-31 2023-05-12 杭州芯声智能科技有限公司 一种基于深度神经网络的自动语音识别方法
CN117546235A (zh) * 2021-06-22 2024-02-09 发那科株式会社 语音识别装置
US11862147B2 (en) * 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
CN113823275A (zh) * 2021-09-07 2021-12-21 广西电网有限责任公司贺州供电局 一种用于电网调度的语音识别方法及系统
CN114842837B (zh) * 2022-07-04 2022-09-02 成都启英泰伦科技有限公司 一种快速声学模型训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053218A (ja) * 2010-08-31 2012-03-15 Nippon Hoso Kyokai <Nhk> 音響処理装置および音響処理プログラム
JP2015102806A (ja) * 2013-11-27 2015-06-04 国立研究開発法人情報通信研究機構 統計的音響モデルの適応方法、統計的音響モデルの適応に適した音響モデルの学習方法、ディープ・ニューラル・ネットワークを構築するためのパラメータを記憶した記憶媒体、及び統計的音響モデルの適応を行なうためのコンピュータプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2733955B2 (ja) * 1988-05-18 1998-03-30 日本電気株式会社 適応型音声認識装置
JP4230254B2 (ja) * 2003-03-12 2009-02-25 日本電信電話株式会社 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体
JP4950600B2 (ja) * 2006-09-05 2012-06-13 日本電信電話株式会社 音響モデル作成装置、その装置を用いた音声認識装置、これらの方法、これらのプログラム、およびこれらの記録媒体
JP5738216B2 (ja) * 2012-02-27 2015-06-17 日本電信電話株式会社 特徴量補正パラメータ推定装置、音声認識システム、特徴量補正パラメータ推定方法、音声認識方法及びプログラム
JP5982297B2 (ja) * 2013-02-18 2016-08-31 日本電信電話株式会社 音声認識装置、音響モデル学習装置、その方法及びプログラム
US9177550B2 (en) * 2013-03-06 2015-11-03 Microsoft Technology Licensing, Llc Conservatively adapting a deep neural network in a recognition system
CN104143327B (zh) * 2013-07-10 2015-12-09 腾讯科技（深圳）有限公司 一种声学模型训练方法和装置
CN104376842A (zh) * 2013-08-12 2015-02-25 清华大学 神经网络语言模型的训练方法、装置以及语音识别方法
GB2517503B (en) * 2013-08-23 2016-12-28 Toshiba Res Europe Ltd A speech processing system and method
US9401148B2 (en) * 2013-11-04 2016-07-26 Google Inc. Speaker verification using neural networks
US9324321B2 (en) * 2014-03-07 2016-04-26 Microsoft Technology Licensing, Llc Low-footprint adaptation and personalization for a deep neural network
CN104157290B (zh) * 2014-08-19 2017-10-24 大连理工大学 一种基于深度学习的说话人识别方法
KR102449837B1 (ko) * 2015-02-23 2022-09-30 삼성전자주식회사 신경망 학습 방법 및 장치, 및 인식 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053218A (ja) * 2010-08-31 2012-03-15 Nippon Hoso Kyokai <Nhk> 音響処理装置および音響処理プログラム
JP2015102806A (ja) * 2013-11-27 2015-06-04 国立研究開発法人情報通信研究機構 統計的音響モデルの適応方法、統計的音響モデルの適応に適した音響モデルの学習方法、ディープ・ニューラル・ネットワークを構築するためのパラメータを記憶した記憶媒体、及び統計的音響モデルの適応を行なうためのコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARC DELCROIX ET AL.: "Context adaptive deep neural networks for fast acoustic model adaptation", 2015 IEEE INTERNATIONAL CONFERENCE ON ACOUSTIC, SPEECH AND SIGNAL PROCESSING, April 2015 (2015-04-01), XP033064557 *
MARK DELCROIX ET AL.: "Context adaptive deep neural networks fo fast acoustic model adaptation in noisy conditions", 2016 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, March 2016 (2016-03-01), XP032901609 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018031812A (ja) * 2016-08-22 2018-03-01 日本電信電話株式会社 音声データ処理装置、音声データ処理方法および音声データ処理プログラム
WO2019171925A1 (ja) * 2018-03-08 2019-09-12 日本電信電話株式会社 言語モデルを利用する装置、方法及びプログラム
JP2019159464A (ja) * 2018-03-08 2019-09-19 日本電信電話株式会社 言語モデルを利用する装置、方法及びプログラム
JP7231181B2 (ja) 2018-07-17 2023-03-01 国立研究開発法人情報通信研究機構 耐雑音音声認識装置及び方法、並びにコンピュータプログラム
WO2020017226A1 (ja) * 2018-07-17 2020-01-23 国立研究開発法人情報通信研究機構 耐雑音音声認識装置及び方法、並びにコンピュータプログラム
JP2020012928A (ja) * 2018-07-17 2020-01-23 国立研究開発法人情報通信研究機構 耐雑音音声認識装置及び方法、並びにコンピュータプログラム
CN111862952A (zh) * 2019-04-26 2020-10-30 华为技术有限公司 一种去混响模型训练方法及装置
CN111862952B (zh) * 2019-04-26 2024-04-12 华为技术有限公司 一种去混响模型训练方法及装置
JP2022028772A (ja) * 2019-08-23 2022-02-16 サウンドハウンド，インコーポレイテッド オーディオデータおよび画像データに基づいて人の発声を解析する車載装置および発声処理方法、ならびにプログラム
JP7525460B2 (ja) 2019-08-23 2024-07-30 サウンドハウンド，インコーポレイテッド オーディオデータおよび画像データに基づいて人の発声を解析するコンピューティングデバイスおよび発声処理方法、ならびにプログラム
CN111540364A (zh) * 2020-04-21 2020-08-14 同盾控股有限公司 音频识别方法、装置、电子设备及计算机可读介质
US11551694B2 (en) 2021-01-05 2023-01-10 Comcast Cable Communications, Llc Methods, systems and apparatuses for improved speech recognition and transcription
US11869507B2 (en) 2021-01-05 2024-01-09 Comcast Cable Communications, Llc Methods, systems and apparatuses for improved speech recognition and transcription
JP2024547129A (ja) * 2021-12-22 2024-12-26 ビゴ テクノロジー ピーティーイー． リミテッド モデル訓練及び音色変換方法、装置、デバイス及び媒体

Also Published As

Publication number Publication date
JPWO2017135148A1 (ja) 2018-11-29
US20210193161A1 (en) 2021-06-24
US11264044B2 (en) 2022-03-01
CN108701452B (zh) 2023-09-26
CN108701452A (zh) 2018-10-23
JP6637078B2 (ja) 2020-01-29

Similar Documents

Publication Publication Date Title
JP6637078B2 (ja) 音響モデル学習装置、音響モデル学習方法及びプログラム
JP6506074B2 (ja) 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法及びプログラム
CN110914899B (zh) 掩模计算装置、簇权重学习装置、掩模计算神经网络学习装置、掩模计算方法、簇权重学习方法和掩模计算神经网络学习方法
US10643602B2 (en) Adversarial teacher-student learning for unsupervised domain adaptation
JP5423670B2 (ja) 音響モデル学習装置および音声認識装置
US10490182B1 (en) Initializing and learning rate adjustment for rectifier linear unit based artificial neural networks
US8494847B2 (en) Weighting factor learning system and audio recognition system
CN109801621A (zh) 一种基于残差门控循环单元的语音识别方法
CN110853630B (zh) 面向边缘计算的轻量级语音识别方法
KR102406512B1 (ko) 음성인식 방법 및 그 장치
JP2017058877A (ja) 学習装置、音声検出装置、学習方法およびプログラム
WO2019151507A1 (ja) 学習装置、学習方法及び学習プログラム
Kadyan et al. A comparative study of deep neural network based Punjabi-ASR system
JP2017117045A (ja) 言語確率算出方法、言語確率算出装置および言語確率算出プログラム
JP6646337B2 (ja) 音声データ処理装置、音声データ処理方法および音声データ処理プログラム
JP6612796B2 (ja) 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、音響モデル学習プログラム及び音声認識プログラム
Du et al. Boosted mixture learning of Gaussian mixture hidden Markov models based on maximum likelihood for speech recognition
JP6158105B2 (ja) 言語モデル作成装置、音声認識装置、その方法及びプログラム
JP6772115B2 (ja) 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、及びプログラム
Wang et al. Empirical evaluation of speaker adaptation on DNN based acoustic model
JP2013174768A (ja) 特徴量補正パラメータ推定装置、音声認識システム、特徴量補正パラメータ推定方法、音声認識方法及びプログラム
JP4571921B2 (ja) 音響モデル適応化装置、音響モデル適応化方法、音響モデル適応化プログラム及びその記録媒体
WO2024127472A1 (ja) 感情認識学習方法、感情認識方法、感情認識学習装置、感情認識装置及びプログラム
Dong et al. E-BATS: Efficient Backpropagation-Free Test-Time Adaptation for Speech Foundation Models
CN117351947A (zh) 模型训练方法及装置、计算机可读存储介质、终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17747306

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 201780009153.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2017565514

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17747306

Country of ref document: EP

Kind code of ref document: A1