JP2001511267A - 音声パターン認識用のモデル特殊因子の決定方法 - Google Patents

Abstract

(57)【要約】 物理的刺激の組により構成されるパターンを認識する本発明の方法は、１組の学習用観測量を供給し、複数の連合モデルを適用することにより、特定の学習用観測量の一つ以上の連合したパターンクラスへの割当に関連した種々の測定値ｐ_j（ｋ｜ｘ），ｊ＝１．．．Ｍを確定する段階と、複数の連合モデルを夫々の重み係数に応じて全て結合することにより対数／線形連合分布を設定し、複合連合分布を生成するため、その対数／線形連合分布に正規化量を併合する段階と、上記複合分布への実際の割当について検出される誤り率を最小限に抑えるため上記重み係数を最適化する段階と、上記複合分布を用いてターゲットパターンを表現するターゲット観測量を認識する段階とを含む。

Description

【発明の詳細な説明】 音声パターン認識用のモデル特殊因子の決定方法 発明の背景 本発明は、物理的刺激の組により構成されたパターンを認識する方法に係わり 、この方法は、 １組の学習用観測量を供給し、複数の連合モデルを適用することにより、特定 の学習用観測量の一つ以上の連合したパターンクラスへの割当に関連した種々の 測定値ｐ_j（ｋ｜ｘ），ｊ＝１．．．Ｍを確定する段階と、 複数の連合モデルを夫々の重み係数に応じて全て結合することにより対数／線 形連合分布を設定し、複合連合分布を生成するため、その対数／線形連合分布に 正規化量を併合する段階とを含む。 本発明は音声認識を想定しているが、音声理解、音声翻訳、並びに、手書き文 字認識、顔の認識、情景認識、及び、その他の環境の認識のような他の認識プロ セスにも同じように適用可能である。連合モデルは、パターンをクラスに割り当 てる確率分布を与える確率モデルである。他のモデルは、ファジー論理、或いは 、ターゲットとクラスとの間で測定された距離のような類似した測度に基づく。 従来の技術は、合成された認識の取り組みにおいてかかる種々のモデルを使用す るが、種々の協働するモデルに与えられる影響は偶然的に決まる。これは、僅か な基本モデル及び／又は唯一の基本モデルだけが実施できることを意味する。 本願の発明者は、最大エントロピー原理及び識別型学習原理の統合は、二つ以 上のモデルを合成する場合に、原則として、従来のヒューリスティックな方法よ りも優れた結果が得られることを見出した。また、直接的なデータ処理手続は、 これらの結果を低コストかつ高速に与える。 したがって、特に、本発明の目的は、識別型学習を通じてパラメータ推定を行 いながら、種々のサブモデルｐ_j（ｋ｜Ｘ）の対数−線形結合を推定することで ある。以下、本発明の一面によれば、、物理的刺激の組を含むパターンを認識す ることにより上記本発明の目的を達成する方法は、 １組の学習用観測量を供給し、複数の連合モデルを適用することにより、特定 の学習用観測量の一つ以上の連合したパターンクラスへの割当に関連した種々の 測定値ｐ_j（ｋ｜ｘ），ｊ＝１．．．Ｍを確定する段階と、 複数の連合モデルを夫々の重み係数に応じて全て結合することにより対数／線 形連合分布を設定し、複合連合分布を生成するため、その対数／線形連合分布に 正規化量を併合する段階と、 上記複合分布への実際の割当の検出される誤り率を最小限に抑えるため上記重 み係数を最適化する段階と、 上記複合分布を用いてターゲットパターンを表現するターゲット観測量を認識 する段階とを含む。特に、このような処理によって、任意の数のモデルを単一の 最大エントロピー分布に合成できるようになる。また、特性及び表現が非常に広 範囲に変化するモデルの相互作用を最適化することができる。 また、本発明は、上記本発明による連合分布をモデル化する方法に関する。こ れにより、複合分布の以降のユーザが適切なパターンを認識するための優れたツ ールが得られる。 また、本発明は、本発明によって生成された連合分布を用いてパターンを認識 する方法に関する。この方法は、上記本発明によって実現されたツールを適用す ることによりユーザに多大の利益を供与する。 本発明は、上記本発明による方法を実施するため構成されたシステムに関する 。本発明の更なる局面は従属した請求項に記載されている。 図面の簡単な説明 以下、好ましい実施例の詳細な説明を、特に、添付図面と共に参照して、本発 明の上記並びに他の局面及び利点について詳細に説明する。図面中、 図１は、本発明の方法の全体的なフローチャートであり、 図２は、本発明を実施する統合システムの構成図であり、 図３乃至２１には、本発明による自動化方法と共に使用される種々の数式Ｂ１ −Ｂ２０が表されている。 好ましい実施例の詳細な説明 本発明は、非常に多様な特性を有する物理量の取扱及び調節に関する数学のバ ランスのとれたアプリケーションに基づき、本発明の開示の大部分は高等数学に 基づく。しかし、スタート点と最終的な結果の両方は、不変的な物理的な面を有 し、関連性がある。音声認識は、種々のタイプの機械を制御するため使用される 。情景解析は無人自動車を誘導する。画像認識はゲートの開閉制御に使用される 。これら以外にも種々のアプリケーションがある。以下では、数式は通し番号が 付けられ、本文中で数式はその番号によって参照される。 本発明は、特に、音声認識用の幾つかの異なるモデルを単一のパターン認識処 理に合成し、最適化するため、モデル特殊因子を決定する。 統計的な音声認識モデルは、最小誤識別率の識別メカニズムを形成するためベ イズ判定理論を利用する。この理論に従って、所定の事後又は「現実の」確率分 布π（ｋ｜ｘ）に対し、 が成立するときに、観測量ｘがクラスｋに割り当てられる（簡単のため、ｘ∈ｋ ）ような判定が行われる。 用語上、項ｌｏｇ（π（ｋ｜ｘ）／π（ｋ｜ｘ）は、識別関数と称される。以 下、簡単のため、この項は、ｇ（ｘ，ｋ，ｋ’）のように表記する。判定ルール （１）が完全な文（センテンス）を認識するため使用されるとき、時間的な長さ Ｔを有する観測された表現ｘ₁ ^T＝（ｘ¹，．．．，ｘ^T）は、長さＳの発話語シー ケンスｗ₁ ^S＝（ｗ¹，．．．，ｗ^S）に分類される。しかし、事後分布π（ｗ₁ ^S｜ ｘ₁ ^T）は、人の複雑な自然音声会話を記述するので未知である。したがって、こ れは、分布ｐ（ｗ₁ ^S｜ｘ₁ ^T）によって近似されるべきである。ここまでは、パラ メトリック確率分布の形式による音声の音響音声学的並びに文法的モデリングは 、最良の結果を与える。分布ｐ（ｗ₁ ^S｜ｘ₁ ^T）の形式は予め決められ、分布の未 知パラメータは学習データに基づいて推定される。かくして獲得された分布ｐ（ ｗ₁ ^S｜ｘ₁ ^T）は、次に、ベイズ判定に代入される。表現ｘ₁ ^Tは、 である語シーケンスｗ₁ ^Sに割り当てられる。 識別関数の変換 によって、文法モデルｐ（ｗ₁ ^S）を音響音声学モデルｐ（ｘ₁ ^T｜ｗ₁ ^S）から自然 な形で分離することができる。文法モデルｐ （ｗ₁ ^S）は、特に語シーケンスｗ₁ ^Sの出現確率を記述し、音響音声学モデルｐ（ ｘ₁ ^T｜ｗ₁ ^S）は、語シーケンスｗ₁ ^Sの発話中の音響信号ｘ₁ ^Tの出現確率を推定す る。両方のモデルは別々に推定できるので、比較的限定された個数の学習データ が最適に使用される。判定ルール（３）は、たとえ、分布ｐの推定が最適であっ たとしても、分布ｐの未知分布πからの偏差に起因して最適に達しない場合があ る。これにより、所謂識別法の使用が促される。識別型法は、学習データに基づ いて経験的に測定された判定ルールの誤識別率に関して分布ｐを直接的に最適化 する。このような識別型最適化の最も簡単な例は、所謂言語モデル因子λを使用 することである。このとき、式（３）は以下の通り変形される。 実験的に、判定ルール（４）によって生ずる誤識別率は、λ＞１となるようλを 選択するときに減少する。λ＝１である理論値から外れる理由は、複合事象（ｗ₁ ^S ，ｘ₁ ^T）の確率のモデル化が不完全若しくは不正確である点にある。事象（ｗ₁ ^S ，ｘ₁ ^T）を発生させる過程についての知識は不完全であるため、モデリングの 不正確さは回避できない。 従来、多数の音響音声学的並びに文法的言語モデルが解析されている。これら の解析の目的は、既知若しくは所与のモデルの中から着目している認識作業に対 する「最良」モデルを見つけることである。このような方式で決定されたすべて のモデルは、実際の確率分布の不完全な表現であるので、これらのモデルが音声 認識のようなパターン認識に使用されるとき、クラスへの誤った割当として誤認 識が生ずる。 本発明の目的は、現実の確率分布をより厳密に近似し、僅かな処理労力を加え るだけで実施することができ、特に、より多数の既知若しくは所与のモデルを単 一の分類メカニズムに簡単に統合できるモデリング、特に音声用モデリングを提 供することである。 発明の概要 本発明の解決法の新規な局面は、既知の音声特性を、複雑かつ困難な学習を伴 う単一の音響音声学的分布モデルや単一の文法的分布モデルに統合しようとしな い点である。多種多様な音声音響学的並びに文法的特性が、種々の分布ｐ_j（ｗ₁ ^S ｜ｘ₁ ^T），ｊ＝１．．．Ｍの形式で別々にモデル化され学習され、次に、複合 分布 た係数λ_jよって決定される。 因子Ｃ（Λ）は、確率に対する正規化条件が満たされたこと保証する。自由因 子Λ＝（λ₁，．．．，λ_M）^trは合成された識別関数 の誤識別率ができる限り小さくなるように調整される。この基本的なアイデアを 実現するために多数の方法が考えられるが、以下では、その中の幾つかの方法を 説明する。 最初に、以下の説明で使用される種々の用語を定義する。各語シーケンスｗ₁ ^S はクラスｋを形成し、シーケンス長Ｓはクラス毎に異なる。音声発話ｘ₁ ^Tは観測 量ｘであると考えられ、その長さＴは、観測量毎に異なる。 画像データは、（ｘ_n，ｋ）によって表記され、ｎ＝１，．．．，Ｎ；ｋ＝０ ，．．．，Ｋである。尚、Ｎは音響学習観測量ｘ_nの個数であり、ｋ_nは観測量ｘ_n と関連した正しいクラスを表す。また、ｋ≠ｋ_nなるｋは、ｋ_nに関して競合す る種々の不正確な対抗クラスである。 ベイズ判定ルール（１）に従って観測量ｘをクラスｋに分類する場合を考える 。観測量ｘはクラスｋの音響的な実現形式である。音声認識の場合に、各クラス ｋは語のシーケンスを代表する。しかし、この方法はより汎用的に適用すること が可能である。 学習用観測量ｘ_nによって生成されるクラスｋ_nは既知であり ｋ）；ｎ＝１．．．Ｎ；ｋ＝０．．．Ｋに基づいて構築され得る。この分布は、 この分布から獲得された判定ルールが学習データに適用された場合に最小の誤識 別率を有するように作られるべきである。完全な語シーケンスｋを分類する場合 に、誤りのある語シーケンスｋ≠ｋ_nを選択することによる分類誤りは、幾つか の語の誤りを生じさせる。正しくないクラスｋと正しいクラスｋ_nとの間の語の 誤りの数は、レーベンシュタインの距離Ｅ（ｋ，ｋ_n）と呼ばれる。Ｅ（ｋ，ｋ_n ）から形成される判定ルールは、単調特性が満たされるとき、最小の語誤識別率 を有する。 れ、正しいクラス割当てが得られない未知のテストデータに対しては定義されな い経験的誤り値Ｅ（ｋ，ｋ_n）の関数である。したがって、この分布に基づいて 、任意の独立したテストデータに対し定義され、学習データに関する経験的な誤 識別率ができる限り小さ く抑えられた分布 が求められる。Ｍ個の予め決められた分布モデルｐ₁（ｋ｜ｘ），．．．，ｐ_M（ ｋ｜ｘ）が任意のテストデータに関して定義 に選択可能な係数Λ＝（λ₁，．．．，λ_M）^trが、学習データに トデータに関して最適な判定を行う必要がある。 ＧＰＤ法並びに最小二乗法は、分類器の平均誤識別率を近似する規準を最適化 する。ＧＰＤ法と比べて、最小二乗法は最適な係数Λに対し閉じた解を与える点 が有利である。 次に、最小二乗法の場合について考える。識別関数（１）は分類器の品質を決 定するので、係数Λは経験的な誤識別率Ｅ（ｋ，ｋ_n 最小限に抑える必要がある。ｒに関する加算は規準のすべての対抗クラスを含む 。Ｄ（Λ）を最小化することにより、式Ｂ１５及びＢ１６により詳細に示されて いる最適な係数ベクトル Λ＝Ｑ^-1Ｐ（９） に対する閉形式の閉じた解が得られる。 式中、Ｑは所定の分布モデルの識別関数の自己相関マトリックス 数との間の関係を表現する。 仮説ｋの語の誤り率Ｅ（ｋ，ｋ_n）は係数λ₁，．．．，λ_M内で線形に選択さ れる。逆に、分布モデルｐ_iの識別能力は、識別関数 によって直接的に係数を決めるため、係数λ₁，．．．，λ_M内に線形に包含され る。 或いは、これらの係数はＧＰＤ法を用いて決定してもよい。ＧＰＤ法の場合に 、平滑化された経験に基づく以下の誤り率Ｅ（Λ）は学習データに対し直接的に 平滑化され得る。 左辺の式は、観測量ｘ_nを誤って分類する危険に対する平滑化された測定量であ る。値Ａ＞０，Ｂ＞０，η＞０は、誤り分類危険の平滑化のタイプを決定し、予 め適切に与えられるべきである。Ｅ（λ）が対数線形結合の係数λに関して最小 化されるとき、λ_jに対し、ステップ幅Ｍを有する反復式 λ_j ⁽⁰⁾＝１ （１１） 但し、ｊ＝１，．．．，Ｍ が得られる。また、式Ｂ１３及びＢ１４に従って、 Λ⁽¹⁾＝（λ₁ ^(I)，．．．，λ_M ⁽¹⁾）^tr；ｊ＝１，．．．，Ｍが得られる。 係数ベクトルΛは、識別関数 を用いて、規準Ｅ（Λ）に包含されることに注意する必要がある。 仮にＥ（Λ）が減少するとき、識別関数（１２）は、式（９）及び（１０）の ため、平均的に増加する。この結果として、判定ルールは更に改良される（式（ １）を参照のこと）。 上記説明では、すべての利用可能な知識源を単一のパターン認識システムに統 合することが目的であり、二つの原理が併合される。第１の原理は最大エントロ ピー原理である。この原理は、導入される仮説をできる限り減らし、その結果と して不確実さを最大化するように作用する。そのため、指数関数的な分布が使用 される。この方法では、知識源の組合せの構造が定義される。第２の原理は、種 々の知識源に割り当てられる重み付け係数及び関連したモデルを決めるため、識 別型学習を行う。パラメータを最適化することにより、誤りは最小限に抑えられ る。音声の場合、モデルは、意味論的モデル、統語論的モデル、音響的モデル及 びその他のモデルなどである。 この方法は、多種のサブモデルを対数線形結合し、識別型学習を通じてパラメ ータを推定する。このようにして、サブモデルの追加は認識スコアを改善させる 。さもなければ、着目中のモデルは無視される。しかし、サブモデルは決して認 識精度を低下させない。か くして、すべての利用可能なサブモデルが最適な結果を生ずるため合成される。 本発明の別のアプリケーションは、既存のモデル合成を新しい認識環境に適応さ せることである。 この処理の理論的なアプローチには以下の様々なステップが含まれる。 −経験的誤認識率のパラボリック平滑化 −「最小誤認識率学習」の理論の簡単化 −反復シーケンスを必要としない閉じた形式の解を供与すること また、本発明 によれば、以下の付加的な機能が付与される。 −最適言語モデル因子の推定 −対数線形隠れマルコフモデルの適用 −適モデル合成のための閉じた形式の式 −クラス特殊確率分布の識別型学習のための閉じた形式の式 以下、式（１）に指定された分類作業のため、真又は事後分布π（ｋ｜ｘ）は 未知であるが、モデル分布ｐ（ｋ｜ｘ）によって近似される。二つの分布は、不 正確なモデリング仮説と、不十分なデータとに起因して異なる。その一例は、式 Ｂ１に使用される言語モデル因子λである。 形式的な定義は、式（５）に与えられるように種々のサブモデル結合に続いて 、項ｌｏｇＣ（Λ）は、形式的な確率分布を得るため正規化を行う。これにより 得られた識別関数は、 である。 誤認識率は最小化され、Λは最適化される。文レベルの最適化は 以下の通り行われる。 ・クラスｋ：語シーケンス ・観測量ｘ：発話（例えば、文） ・正しい文を与えるＮ個の学習サンプルｘ_n ・各サンプルｘ_nに対し、 −ｋ_n：会話として正しいクラス −ｋ≠ｋ_n：起こり得るすべての文、或いは、例えば、その妥当な部分集合で ある対抗クラス ・クラスの類似性：Ｅ（ｋ_n，ｋ） −Ｅ：レーベンシュタイン距離、或いは、単調である同等に適切な測定量の適 当な関数 ・語シーケンスｋ_n内の語数：Ｌ_n 次に、式Ｂ３は、目的関数である経験的誤認識率を与える。式中、左辺は、ク ラスｋとｋ_nの間の誤りのある偏差の数に基づく最尤クラスを導く。 パラメータΛは以下のように推定される。 ・反復的な解を与える一般化された確率的降下法（ＧＰＤ）による最小誤識別率 学習 ・パラボリック（双曲線型）平滑化と組み合わされ、閉じた形式の解を与える最 小誤識別学習の変形 ・閉じた形式の解を与える最小二乗法に基づく第３の方法 ＧＰＤ法の場合に、平滑化された経験的誤識別率最小化は式Ｂ４に基づく。平 滑化された誤分類危険は式Ｂ５によって与えられ、平均的な競争は式Ｂ６により 与えられる。 平滑化された経験的誤識別率は式Ｂ７によって最小化される。式中、ｌは、簡 便な計算の場合に微分可能でなければならない損失関数である。競争は式Ｂ８に よって与えられ、式中、Ｅは誤りの数を示す。平均競争は、式Ｂ９において加算 することにより与えられる。平滑化された誤分類危険は、シグモイド関数のよう な挙動を示す式 Ｂ１０によって表現される。Ｒ_n＝−∞の場合に、損失関数ｌは零になり、Ｒ_n＝ ＋∞の場合に、限界値はｌ＝１である。式中、Ａ，Ｂは零よりも大きいスケーリ ング定数である。Λに関する微分によって、式Ｂ１１が得られ、ここで、ベクト ルΛ⁽¹⁾は式Ｂ１２によって与えられ、最後の結果は式Ｂ１３によって与えられ る。 また、本発明は、識別型モデル合成ＤＭＣを見つけるための閉じた形式の解を 提供する。この解は、最小二乗法に従って、識別関数と理想的な識別関数Ｅ（ｋ_n ，ｋ）との間の距離を最小化させる。基本的な式はＢ１４に示される。ここで 、Λ＝Ｑ^-1Ｐであり、式中、Ｑは式Ｂ１５で表された要素Ｑ_i,jを有するマトリ ックスである。また、Ｐは式Ｂ１６で表された要素Ｐ_iを有するベクトルである 。経験的誤識別率は既にＢ３に記載されている。計算上の理由から、経験的誤識 別率は、式Ｂ１７によって表現されるような平滑化された経験的誤識別率によっ て近似される。ここで、ｋとｋ_nとの間の誤りの数が、シグモイド関数Ｓ又は同 様に有効な関数を用いて表される。有効な形式は、Ｓ（ｘ）＝｛（ｘ＋Ｂ）／（ Ａ＋Ｂ）｝²であり、式中、−Ｂ＜ｘ＜Ａかつ−Ｂ＜０＜Ａである。より大きい ｘの値に対し、Ｓ＝１であり、小さいｘの値に対し、Ｓ＝０である。このパラボ ラは有効であることが分かった。種々の他の二次曲線が有効であることが判明し た。関連した対抗側は、Ｓの中心及びパラボラ的に湾曲した間隔に存在する必要 がある。次に、最終的に、正規化定数が式Ｂ１８に従ってΛに対し加算される。 第２の規準は、マトリックス計算式（α，λ^tr）^tr＝Ｑ’^-1Ｐ’に従って解法 され、ここで、Ｑ’_0.0＝０、Ｑ’_0.j＝１及びＱ’_j,0＝１／２（Ａ＋Ｂ）²に従 って付加的な行及び列が正規化のためマトリックスＱ’に付加される。相関マト リックスＱ’の一般的な要素は式Ｂ１９に与えられる。閉じた解は平滑化ステッ プ関数ｓによって実現可能にされることに注意する必要がある。また、ベクトル Ｐ’は、同様に正規化用要素Ｐ’₀＝１が与えられ、一方、ベ クトルＰ’の一般的な要素は式Ｂ２０に与えられる。 ２−ｇｒａｍ、３−ｇｒａｍ、４−ｇｒａｍ又は５−ｇｒａｍモデルのような 多種のＭ−ｇｒａｍ言語モデルや、ワード・インターナル・トライフォン(word- internal triphones)、クロス・ワード・３−ｇｒａｍ(cross-word trigram)及 びペンタフォン(pentaphones)モデルのような種々の音響モデルを用いて実験が 行われる。一般的に、自動ＤＭＣ処理は、同じサブモデルの集合を用いて非自動 精密チューニングによって生成される結果と同等に優れた結果を実現する。しか し、本発明の自動処理による付加的なサブモデルの追加は、誤りの数を約８％減 少させることができる。これは、改良された音声認識の技術における重大な前進 であると考えられる。本発明は、適切なサブモデルが利用できるならば、署名、 手書き文字、情景解析などの別のタイプのパターンを認識するため同様に優れた 結果を与えるものと期待される。一般的な認識のため使用される他のサブモデル には、ｍｌｌｒアダプテーション、１−グラム(unigram)、中間要素はドントケ アであるとみなされる距離１の２−グラム(distance-1-bigram)、ペンタフォン( pentaphones)及びｗｓｊモデルが含まれる。このような環境で、本発明の自動処 理におけるサブモデルの数を増加させることにより、誤りの個数は８〜１３％の 有意な量が減少される。 図１には、本発明の方法の全体的なフローチャートが示されている。ブロック ２０では学習が開始され、学習用データ又はパターンはブロック２２で与えられ る。始めに、要求されるソフトウェア及びハードウェア、特に、サブモデルが必 要に応じて宣言され、多様なパターンの識別が行われる。簡単のため、サブモデ ルの個数は２個に制限されている場合を考えるが、サブモデルの個数は３個以上 でも構わない。並行したブロック２４及び２６において、個々のサブモデルに対 するスコアが決定される。ブロック２８において、種々のサブモデルの対数線形 結合が行われ、正規化される。ブロッ ク３０において、最小の誤認識率が達成されるという観点でベクトルΛの自動最 適化が行われる。尚、ベクトルΛは、関連したサブモデル若しくはモデルが全く 改良を行わないことを知らせるため１個以上の零値成分を有することに注意する 必要がある。 次に、図１の右側に示されるようにベクトルΛ及び種々の適用可能なサブモデ ルがターゲットデータを認識するため使用される。左側の学習と右側の運用は、 時間的かつ空間的に互いに別々に行われ、例えば、ある人は、プロバイダ側で自 分の声に対し機械を学習させる。これには、付加的なデータ処理設備が必要とさ れる。次に、このように学習された機械は、家庭若しくは車内の環境、又は、そ れ以外の場所で使用される。したがって、ブロック４０〜４６は、同図の左側の ブロックと対応する。 ブロック４８において、種々のサブモデルからのスコアが、学習側で見つけら れたベクトルΛの種々の成分を用いて対数線形結合される。最後に、ブロック５ ０において、ターゲットデータがブロック５０から得られた結果を用いて分類さ れる。ブロック５２において、処理は終了し、準備が完了する。 図２は、本発明を実施するシステムの概略図である。必要な機能は標準的なハ ードウェア、又は、専用装置上に割り付けられる。ボイスレコーダ、２次元光学 式スキャナのような適当なピックアップ６０が、必要に応じてＡ／Ｄ変換機能並 びに品質改良前処理と共に設けられる。ブロック６４には、プログラムメモリ６ ６からのプログラムを、ピックアップ６０から到着したデータ、又は、データ記 憶装置６２からのデータに適用する処理が示されている。データ記憶装置６２に は、ピックアップ６０から転送されたデータが持続的若しくは一時的に格納され る。ライン７０は、スタート／ストップのようなユーザ制御信号、場合によって は、例えば、役に立たないサブモデルを完全に禁止するような学習用補助信号を 受信する。 ブロック６８では、例えば、作表、印刷、適切な音声応答を得る ための会話構造をアドレス指定、或いは、適切な出力制御信号を選択することに より認識結果が使用可能にされる。ブロック７２では、音声応答を出力し、認識 された人のためゲートを開き、分類機械内でパスを選択する等の認識された音声 の用法が示されている。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＵＳ

Claims (1)

1. 【特許請求の範囲】 １． 物理的刺激の組により構成されたパターンを認識する方法において、 １組の学習用観測量を供給し、複数の連合モデルを適用することにより、特定 の学習用観測量の一つ以上の連合したパターンクラスへの割当に関連した種々の 測定値ｐ_j（ｋ｜ｘ），ｊ＝１．．．Ｍを確定する段階と、 複数の連合モデルを夫々の重み係数に応じて全て結合することにより対数／線 形連合分布を設定し、複合連合分布を生成するため、その対数／線形連合分布に 正規化量を併合する段階と、 上記複合分布への実際の割当について検出される誤り率を最小限に抑えるため 上記重み係数を最適化する段階と、 上記複合分布を用いてターゲットパターンを表現するターゲット観測量を認識 する段階とを含む方法。 ２． 複数の物理的刺激により構成されたパターンの連合分布をモデリングする 方法において、 １組の学習用観測量を供給し、複数の連合モデルを適用することにより、特定 の学習用観測量の一つ以上の連合したパターンクラスへの割当に関連した種々の 測定値ｐ_j（ｋ｜ｘ），ｊ＝１．．．Ｍを確定する段階と、 複数の連合モデルを夫々の重み係数に応じて全て結合することにより対数／線 形連合分布を設定し、複合連合分布を生成するため、その対数／線形連合分布に 正規化量を併合する段階と、 上記複合分布への実際の割当について検出される誤り率を最小限に抑えるため 上記重み係数を最適化する段階とを含む方法。 ３． 物理的刺激の組により構成されたパターンを認識する方法に おいて、 一つ以上の連合したパターンクラスへの割当に関連した種々の測定値ｐ_j（ｋ ｜ｘ），ｊ＝１．．．Ｍを示す複数の連合モデルであって、夫々の重み係数に応 じて対数／線形連合分布に結合され、複合連合分布を生成するため正規化量が併 合される複数の連合モデルを受信する段階と、 上記複合分布への実際の割当について検出される誤り率を最小限に抑えるため 上記重み係数を最適化する段階と、 上記複合分布を用いてターゲットパターンを表現するターゲット観測量を認識 する段階とを含む方法。 ４． 上記連合モデルは確率モデルであり、上記連合分布は連合用の確率モデル である、請求項１記載の方法。 ５． 最適化は反復的な形で学習誤り率を最小化することにより実現され、上記 誤り率は非最適割当の対抗値の関数として連続微分可能な形式で表現される、請 求項１記載の方法。 ６． 最適化は、誤り率に基づいて表現されるような上記複合分布の結果として 得られる実際の識別関数と理想的な識別関数との間で最小二乗法を用いて実現さ れ、 Ｑが種々のモデルの識別関数の自己相関マトリックスを表し、Ｐが上記誤り率 と上記識別関数との間の相関ベクトルを表すときに、 重みベクトルΛは、 Λ＝Ｑ^-1Ｐ のように閉じた形式で表現される、請求項１記載の方法。 ７． 経験的な誤り率は、間隔（−Ｂ，Ａ）内で２次曲線として表現することに より平滑化され、 上記重みベクトルΛは Σλ_j＝１ という形で拘束され、 Ｑ’が正規化項を付加することにより拡張された自己相関マトリックスを表し 、Ｐ’が別の正規化項を付加することにより拡張された自己相関ベクトルを表す ときに、 上記重みベクトルは、 Λ＝Ｑ’^-1Ｐ’ に従って閉じた形式で表現される、請求項６記載の方法。 ８． 音声認識に適用され、 上記確率モデルは、 言語モデルとしての２−ｇｒａｍ、３−ｇｒａｍ、４−ｇｒａｍの組と、 音響モデルとしてのワード・インターナル・トライフォン、クロス・ワード・ トライフォン、最尤線形回帰アダプテーションモデルの組と、 付加的なモデルとしての１−ｇｒａｍ、中間要素はドントケアであると考えら れる距離１の２−ｇｒａｍ、ペンタフォンの組の中の一つ以上の組を含む、請求 項４記載の方法。 ９． 記憶された複数の連合モデルを用いて、特定の学習用観測量の一つ以上の パターンクラスへの割当に関連した種々の測定値ｐ_j（ｋ｜ｘ），ｊ＝１．．． Ｍを確定する第１の処理手段に相互接続され、学習用観測量の本体を受信するピ ックアップ手段と、 上記第１の処理手段の下流に接続され、それぞれの重み係数に従って上記複数 の連合モデルをすべて結合することにより対数／線形連合分布を設定し、複合連 合分布を生成するため、正規化量を併合するよう構成された第２の処理手段と、 上記第２の処理手段の下流に接続され、上記複合分布への実際の割当に関して 検出された誤り率を最小限に抑えるため上記重み係数を最適化する第３の処理手 段と、 上記第３の処理手段の下流に接続され、上記複合分布を用いてターゲットパタ ーンを表現するターゲット観測量を認識する認識手段とを含み、 物理的刺激の組により構成されたパターンを認識する請求項１に記載された方 法を実施するシステム。