JP4769031B2 - 言語モデルを作成する方法、かな漢字変換方法、その装置、コンピュータプログラムおよびコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

本発明は言語モデルを作成する方法、かな漢字変換方法、その装置、コンピュータプログラムおよびコンピュータ読み取り可能な記憶媒体に関し、より詳細には、テキストの見かけ上の情報により定義されるクラスタを作成する言語モデルを作成する方法、かな漢字変換方法、その装置、コンピュータプログラムおよびコンピュータ読み取り可能な記憶媒体に関する。

従来のかな漢字変換システムとして、品詞の接続表を用いたものが知られている。品詞の接続表は、品詞Ａの次に品詞Ｂが接続された語の組み合わせの生起確率を示す。言い換えれば、品詞の接続表は基本的に品詞と語のグループのバイグラムである。以下、このような品詞と語のグループをクラスタバイグラムという。品詞は形態素（単語の形式）、文法的機能（主語、副詞など）および意味情報（固有名詞または普通名詞）の混合によって語をグループ化するという観点から単語の挙動を抽象化する。

一方、音声認識の分野で開発が行われているトライグラム言語モデルをかな漢字変換システムに適用することが試みられ、また実用化されている。トライグラム言語モデルでは、先行する２つの語に続く語の生起確率（トライグラム）が用いられる。例えば、２つの語ｗ１、ｗ２の次に語ｗ３が続く確率ｐは以下のように表される。
ｐ（ｗ３｜ｗ１ ｗ２）

これは言語の現象を語のグループレベルで捕捉するものではなく、語レベルで捕捉するものである。従って、トライグラムは現象を捕捉するのにより強力な方法である。トライグラム言語モデルは、人間の言語の使用における単語の挙動をただ見かけの情報によって捕捉するものであり、より深い意味でまたは文法的抽象化によって捕捉するものではない。

言語モデル技術はその分析レベルのため、従来のかな漢字変換システムより高い精度を与える。

しかしながら、従来の言語モデル技術は以下のような不具合があった。従来の言語モデルエンジンは、トライグラムまたはバイグラムが信頼できる十分な確率を有しない場合、ユニグラムへのバックオフを使用する。すなわち、トライグラムｐ（ｗ３｜ｗ１ ｗ２）が信頼できない場合、バイグラムｐ（ｗ３｜ｗ２）に頼る。そして、バイグラムｐ（ｗ３｜ｗ２）が信頼できない場合、ユニグラムｐ（ｗ３）に頼る。これを、ユニグラムへのバックオフという。例えばトライグラム、バイグラムがゼロの場合にユニグラムへバックオフする場合、ｗ３の生起する確率ｐは、以下のように記載される。
p(w3)=p(w3|w1 w2)
=p(w3|w2) if p(w3|w1 w2)が充分信頼できない程値が小さい
=p(w3) if p(w3|w2)が充分信頼できない程値が小さい

しかしながら、言語モデル技術におけるユニグラムへのバックオフは、非常に悪い誤りをもたらす。それは、ユニグラムが単に一語の生起確率を表すものであり、あらゆる種類の文脈の情報を考慮しないからである。

一方で、従来のかな漢字変換システムは上述したような品詞のクラスタバイグラムを用いる。このクラスタバイグラムでは、常に文脈の情報、すなわち先行する単語の品詞または続く単語の品詞の情報を用いる。

従って、従来の言語モデルエンジンは、文脈の情報を考慮しない最悪の状況下において、文脈の情報を考慮する従来のかな漢字変換システムから退化しているという問題があった。そして、このことが、ユーザが従来のかな漢字変換システムからトライグラムかな漢字変換システムにアップグレードすることを躊躇させる要因となっている。

一方、従来の品詞による単語のグループ化にも問題が存在する。正確な品詞は人間が持つ意味の知識を必要とする。例えば、「秋田」という単語は、場所を示す名詞または人名を示す名詞になり得る。しかし、どちらであるかは人間しか決めることができない。

このように、従来のかな漢字変換システムにおける品詞による単語のグループ化は統計的計算に向いていないという問題があった。

本発明はこのような問題に鑑みてなされたものであり、その目的とするところは、従来のユニグラムへのバックオフがもたらす品質の低下を防止することができる言語モデルを作成する方法、かな漢字変換方法、その装置、コンピュータプログラムおよびコンピュータ読み取り可能な記憶媒体を提供することにある。

本発明の別の目的は、統計的計算に適した品詞による単語のグループ化を行う言語モデルを作成する方法、かな漢字変換方法、その装置、コンピュータプログラムおよびコンピュータ読み取り可能な記憶媒体を提供することにある。

本発明の一態様によれば、本発明に係るかな漢字変換方法は、記憶装置内に、Ｎ個の語の組み合わせが生起する確率を示すＮグラム、および２つの品詞のクラスタの組み合わせが生起する確率を示すクラスタバイグラムであって、少なくとも１つのクラスタは少なくとも２つの品詞を含むクラスタバイグラムを有するコンピュータにおけるかな漢字変換方法であって、前記方法は、前記コンピュータの処理装置が、文字列の読みを入力するステップと、前記入力された文字列の読みを分割するステップと、前記分割された読みをかなまたは漢字に変換して変換文字列の候補を生成するステップと、前記変換文字列の候補に含まれたＮ個の語の組み合わせが生起する確率を示すＮグラムを前記記憶装置から取得するステップと、前記変換文字列の候補に含まれた２つのクラスタの組み合わせが生起する確率を示すクラスタバイグラムを前記記憶装置から取得するステップと、前記取得されたクラスタバイグラムに従って前記変換文字列の候補の優先順位を決定するステップとを備える。
ここで、前記記憶装置内には表記、読みおよび品詞を関連付けた語の情報が記憶されており、前記処理装置が、同じ表記および読みの語の品詞を前記記憶装置から取得するステップと、前記取得された品詞を組み合わせることによりクラスタを作成するステップと、前記作成されたクラスタを前記記憶装置に記憶するステップと、前記クラスタを分割するための指示を入力するステップと、前記入力された指示に従って前記記憶装置に記憶されたクラスタを分割するステップとをさらに備え、前記クラスタバイグラムは、前記分割されたクラスタの組み合わせが生起する確率を示すものとすることができる。
また、前記処理装置が前記クラスタバイグラムを作成するステップであって、文字列を入力するステップと、前記入力された文字列に含まれた各語に品詞を付与することによりテキストコーパスを取得するステップと、前記記憶装置に記憶されたクラスタのうちの２つを組み合わせるステップと、前記組み合わせたクラスタが前記テキストコーパス内で生起する確率を計算するステップと、前記組み合わされたクラスタと前記計算された確率を示すクラスタバイグラムとを対応付けて前記記憶装置に記憶するステップとを含む、前記クラスタバイグラムを作成するステップをさらに備えるものとすることができる。

本発明の別の態様によれば、本発明に係るかな漢字変換装置は、Ｎ個の語の組み合わせが生起する確率を示すＮグラム、および２つの品詞のクラスタの組み合わせが生起する確率を示すクラスタバイグラムであって、少なくとも１つのクラスタは少なくとも２つの品詞を含むクラスタバイグラムを記憶した記憶手段と、文字列の読みを入力する読み入力手段と、前記読み入力手段により入力された文字列の読みを分割する読み分割手段と、前記読み分割手段により分割された読みをかなまたは漢字に変換して変換文字列の候補を生成する候補生成手段と、前記候補生成手段により生成された変換文字列の候補に含まれたＮ個の語の組み合わせが生起する確率を示すＮグラムを前記記憶手段から取得するＮグラム取得手段と、前記変換文字列の候補に含まれた２つのクラスタの組み合わせが生起する確率を示すクラスタバイグラムを前記記憶手段から取得するクラスタバイグラム取得手段と、前記Ｎグラム取得手段により取得されたＮグラムおよび前記クラスタバイグラム取得手段により取得されたクラスタバイグラムに従って前記変換文字列の候補の優先順位を決定する決定手段とを備える。

本発明の別の態様によれば、本発明に係るコンピュータプログラムは、コンピュータを、Ｎ個の語の組み合わせが生起する確率を示すＮグラム、および２つの品詞のクラスタの組み合わせが生起する確率を示すクラスタバイグラムであって、少なくとも１つのクラスタは少なくとも２つの品詞を含むクラスタバイグラムを記憶した記憶手段、文字列の読みを入力する読み入力手段、前記読み入力手段により入力された文字列の読みを分割する読み分割手段、前記読み分割手段により分割された読みをかなまたは漢字に変換して変換文字列の候補を生成する候補生成手段、前記候補生成手段により生成された変換文字列の候補に含まれたＮ個の語の組み合わせが生起する確率を示すＮグラムを前記記憶手段から取得するＮグラム取得手段、前記取得されたＮグラムが所定の値以下である場合、前記変換文字列の候補に含まれた２つのクラスタの組み合わせが生起する確率を示すクラスタバイグラムを前記記憶手段から取得するクラスタバイグラム取得手段、ならびに前記Ｎグラム取得手段により取得されたＮグラムおよび前記クラスタバイグラム取得手段により取得されたクラスタバイグラムに従って前記変換文字列の候補の優先順位を決定する決定手段として機能させる。

本発明の別の態様によれば、本発明に係るコンピュータ読み取り可能な記録媒体は、上記コンピュータプログラムを記憶したものである。

本発明は、品詞に基づいてはいるが機械により捕捉することが困難な意味／文法上の区分を融合する新しいクラスタ化の手法を提供する。クラスタは、機械が区別できるテキストの見かけ上の属性によってのみ構築される。本発明では、ユニグラムへのバックオフを新しいクラスタバイグラムで置き換える。従って、最悪の場合の手段がクラスタバイグラムであるため、文脈を考慮することができる。

すなわち、本発明によれば、品詞に基づく最適なクラスタをトライグラム言語モデルの最終的な手段として用いることにより、高い品質を提供することができる。

また、従来のクラスタバイグラムと異なり品詞を統計処理可能なレベルでクラスタ化するので、最悪の場合でも従来のかな漢字変換システム以上の品質を保証することができる。

例示的ネットワーク環境
以下、図面を参照し、本発明の実施の形態について詳細に説明する。

本発明の実施形態によれば、本明細書に記述された方法は、単一でスタンド・アロンのコンピュータ・システム上で実行することができるが、典型的には分散コンピュータ・ネットワークを形成するために相互に連結した多数のコンピュータ・システム上で実行することもできる。本発明を実施するための環境400が図１に示されている。環境400は、主要なコンピュータ・システムと考えられるコンピュータ・システム410を有する。本明細書で使用されるように、「コンピュータ・システム」は広く解釈され、「テキスト、グラフィックス、シンボル、オーディオ、ビデオおよび／または数を表示し操作するためのプログラムを実行する1つまたは複数の装置またはマシン」として定義される。

本発明は、多数の他の多目的または特定目的のコンピュータ・システム環境または構成で動作可能である。本発明で使用するのに適切な可能性のある周知の計算システム、システム環境および／または構成の例は、パソコン、サーバ・コンピュータ、ハンドヘルド装置あるいはラップトップ装置、タブレット装置、マルチプロセッサ・システム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家電製品、ネットワークPC、ミニコンピュータ、メインフレーム・コンピュータ、上記のシステムのうちのいずれかを含む分散コンピューティング環境または装置等を含むが、これに限定されない。

本発明はコンピュータによって実行されるプログラム・モジュールなどのコンピュータ実行可能命令の一般的な文脈において記述することができる。一般に、プログラム・モジュールは特定のタスクを実行するかまたは抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本発明は、ネットワークを介してリンクされるリモート処理装置によってタスクが実行される分散コンピューティング環境において実行することもできる。分散コンピューティング環境では、プログラム・モジュールが、メモリ記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に配置される場合がある。

図１を参照すると、本発明を実行するための例示的なシステムは、コンピュータ410の形態で多目的コンピューティングデバイスを含む。コンピュータ410のコンポーネントは、処理装置420、システムメモリ430、および処理装置420にシステムメモリを含む種々のシステム・コンポーネントを結合可能なシステム・バス421を含むことができるがこれには限定されない。システム・バス421は種々のバス・アーキテクチャのうちの任意のものを使用するメモリ・バスまたはメモリ・コントローラ、周辺バスおよびローカルバスを含むいくつかのタイプのバス構造のいずれかとすることができる。限定ではなく例として、そのようなアーキテクチャは、業界標準アーキテクチャ(ISA)バス、マイクロチャネル・アーキテクチャ(MCA)バス、エンハンストISA(EISA)バス、ビデオエレクトロニクス標準化協会(VESA)ローカルバス、グラフィック専用高速バス (AGP)およびＭｅｚｚａｎｉｎｅバスとして知られている周辺コンポーネント相互接続(PCI)バスを含む。

コンピュータ410は典型的には種々のコンピュータ可読媒体を含む。コンピュータ可読媒体はコンピュータ410によってアクセスすることができ、揮発性媒体および不揮発性媒体並びに取り外し可能媒体および固定媒体の両方を含む、全ての利用可能な媒体とすることが可能である。限定ではなく例として、コンピュータ可読媒体はコンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読み取り可能命令、データ構造、プログラム・モジュールまたは他のデータなどの情報の記憶のための任意の方法または技術において実装される揮発性および不揮発性、取り外し可能および固定媒体の両方を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュ・メモリまたは他のメモリ技術、CD-ROM、ディジタル多用途ディスク(DVD)または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報を格納するために使用することができ、コンピュータ410によってアクセス可能な任意の他の媒体を含むが、これには限定されない。通信媒体は典型的にはコンピュータ読み取り可能命令、データ構造、プログラム・モジュールまたは他のデータを搬送波または他の移送メカニズムなどの変調されたデータ信号で具体化し、どのような情報送達媒体も含む。用語「変調されたデータ信号」は、信号中の情報をコード化するような方法で設定または変更されたその特性の1つまたは複数を有する信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および音響、RF、赤外線および他の無線媒体などの無線媒体を含む。上記のいずれかの組み合わせもまたコンピュータ読み取り可能媒体の範囲内に含まれるべきである。

システムメモリ430は、コンピュータ記憶媒体を、揮発性および／または読み出し専用メモリ(ROM)431およびランダム・アクセス・メモリ(RAM)432などの不揮発性メモリの形態で含む。起動時などにコンピュータ410内の要素間の情報を転送することを支援する基本ルーチンを含む基本入出力システム433(BIOS)は、典型的にはROM 431に格納される。RAM 432は典型的には処理装置420により即時にアクセス可能なおよび／または目下動作しているデータおよび／またはプログラム・モジュールを含む。限定ではなく例として、図１はオペレーティング・システム434、アプリケーション・プログラム435、他のプログラム・モジュール436およびプログラム・データ437を例示する。

コンピュータ410はさらに他の取り外し可能／固定の、揮発性／不揮発性のコンピュータ記憶媒体を含んでもよい。単に例示として、図１は、固定の不揮発性磁気媒体の読み書きを行うハードディスクドライブ441、取り外し可能な不揮発性磁気ディスク452の読み書きを行う磁気ディスクドライブ451、およびCD-ROMまたは他の光学媒体のような取り外し可能な不揮発性光ディスク456の読み書きを行う光ディスクドライブ455を例示する。典型的な操作環境の中で使用することができる他の取り外し可能／固定の揮発性／不揮発性のコンピュータ記憶媒体は、これには限定されないが、磁気テープカセット、フラッシュ・メモリ・カード、ディジタル多用途ディスク、デジタルビデオ・テープ、ソリッドステートRAM、ソリッドステートROMなどを含む。ハードディスクドライブ441は、典型的には固定不揮発性メモリインタフェース440のようなインタフェースを介してシステム・バス421に接続される。また、磁気ディスクドライブ451および光ディスクドライブ455はインタフェース450などの取り外し可能メモリ・インタフェースによって典型的にはシステム・バス421に接続される。

上で議論され、図１に例示したドライブおよびそれらの関連するコンピュータ記憶媒体は、コンピュータ410用のコンピュータ読み取り可能命令、データ構造、プログラム・モジュールおよび他のデータのストレージを提供する。図１において、例えば、ハードディスクドライブ441はオペレーティング・システム444、アプリケーション・プログラム445、他のプログラム・モジュール446およびプログラム・データ447のストレージとして示されている。これらのコンポーネントはオペレーティング・システム434、アプリケーション・プログラム435、他のプログラム・モジュール436およびプログラム・データ437と同じであることも異なることも可能であることに留意されたい。オペレーティング・システム444、アプリケーション・プログラム445、他のプログラム・モジュール446およびプログラム・データ447は、最低限それらが異なるコピーであることを示すために本明細書では異なる符号を与えている。ユーザは、タブレット(電子ディジタイザ)464、マイクロホン463、キーボード462およびマウス、トラックボールまたはタッチ・パッドと一般に呼ばれるポインティングデバイス461などの入力装置を介してコンピュータ410へコマンドおよび情報を入力してもよい。他の入力装置(図示せず)はジョイスティック、ゲーム・パッド、衛星放送アンテナ、スキャナなどを含むことができる。これらおよび他の入力装置は、しばしばシステム・バスに結合されたユーザ入力インタフェース460を介して処理装置420に接続されるが、パラレルポート、ゲームポートまたはユニバーサル・シリアル・バス(USB)などの他のインタフェースおよびバス構造によって接続してもよい。モニタ491または他のタイプのディスプレイ装置も、ビデオインタフェース490のようなインタフェース経由でシステム・バス421に接続される。モニタ491も、タッチ・スクリーンインタフェース492などのインタフェース経由でコンピュータ・システム410へ手書きなどのディジタル化された入力値を入力することができるタッチ・スクリーン・パネル493などと統合される場合がある。モニタおよび／またはスクリーン・パネルはコンピューティングデバイス410が組み込まれた筐体に物理的に結合することができ、そこではタッチ・スクリーン・パネル493はタブレット464として本質的に機能することに留意されたい。さらに、コンピューティングデバイス410などのコンピュータは、周辺出力インタフェース494などを通じて接続することができるスピーカ495およびプリンタ496のような他の周辺出力装置を含むこともできる。

コンピュータ410は、リモートコンピュータ480などの1台または複数台のリモートのコンピュータへの論理的な接続を使用してネットワーク化された環境において動作することができる。リモートコンピュータ480はパソコン、サーバ、ルータ、ネットワークPC、ピア装置または他の共通のネットワーク・ノードとすることができ、図１にメモリ記憶装置481のみを図示したが、典型的にはコンピュータ410に関して上述した要素の多くまたは全てを含む。図１に示した論理接続はローカル・エリア・ネットワーク(LAN)471および広域ネットワーク(WAN)473を含むが、さらに他のネットワークを含んでもよい。そのようなネットワーク環境は、オフィス、企業全体のコンピュータ・ネットワーク、イントラネットおよびインターネットで普通である。

LANネットワーキング環境の中で使用されるとき、コンピュータ410はネットワークインタフェースまたはアダプタ470を介してLAN 471に接続される。WANネットワーキング環境の中で使用されるとき、コンピュータ410は典型的にはモデム472またはインターネットのようなWAN 473の上の通信を確立するための他の手段を含む。モデム472は内蔵でも外付けでもよいが、ユーザ入力インタフェース460または他の適切なメカニズム経由でシステム・バス421に接続することができる。ネットワーク化された環境では、コンピュータ410またはその部分に関して描かれたプログラム・モジュールを、リモートのメモリ記憶装置に格納することができる。限定ではなく例として、図１は、リモートのアプリケーション・プログラム485をメモリ記憶装置481上に常駐するものとして示している。図示のネットワーク接続が例示であり、コンピュータ間の通信を確立する他の手段を使用してもよいことは理解されるであろう。

このコンピュータ環境を念頭において、本発明の実施形態は、その実施形態を具体化するプロセスを実装するために実行されている論理演算に関して記述される。

図２は、本実施形態に係る言語モデルの作成装置の機能構成を概略的に示すブロック図である。

言語モデルの作成装置２００は、少なくとも語取得部２０２、クラスタ作成部２０４、記憶部２０６、クラスタ記憶制御部２０８、クラスタ分割部２１０、指示入力部２１２、文字列入力部２１４、テキストコーパス取得部２１６、組み合わせ部２１８、クラスタバイグラム記憶制御部２２０および計算部２２２を含む。

記憶部２０６は、ハードディスクドライブ４４１、不揮発性磁気ディスク４５２、不揮発性光ディスク４５６等により構成され、少なくとも辞書のデータを記憶するものである。この辞書は、表記、読みおよび品詞を関連付けた語の情報を含む。

言語モデルの作成装置２００における他の構成要素の機能は、処理装置４２０がシステムメモリ４３０により記憶されたプログラムの命令を実行することにより、あるいは図1を参照して上述したハードウェア構成要素を制御することにより実現される。

語取得部２０２は、同じ表記および読みの語の品詞を記憶部２０６から取得するものである。

クラスタ作成部２０４は、語取得部２０２により取得された語の品詞を組み合わせることによりクラスタを作成するものである。

クラスタ記憶制御部２０８は、クラスタ作成部２０４により作成されたクラスタを記憶部２０６に記憶するものである。

指示入力部２１２は、マウス４６１、タブレット４６４、キーボード４６２およびユーザ入力インタフェース４７０等によって構成され、クラスタを品詞に従って分割するための指示を入力するものである。

クラスタ分割部２１０は、指示入力部２１２により入力された指示に従って記憶部２０６に記憶されたクラスタを分割する。

文字列入力部２１４は、固定不揮発性メモリインタフェース４４０、リムーバブル不揮発性メモリインタフェース４５０等により構成され、ハードディスクドライブ４４１、不揮発性磁気ディスク４５２、不揮発性光ディスク４５６等に記憶された文字列、例えば新聞記事に含まれた文字列のデータを入力するものである。

テキストコーパス取得部２１６は、文字列入力部２１４により入力された文字列に含まれた各語に読みや品詞を付与することによりテキストコーパスを取得するものである。

組み合わせ部２１８は、記憶部２０６に記憶されたクラスタのうちの２つを組み合わせるものである。

計算部２２２は、組み合わせ部２１８により組み合わされたクラスタがテキストコーパス内で生起する確率を計算するものである。

クラスタバイグラム記憶制御部２２０は、組み合わせ部２１８により組み合わされたクラスタと計算部２２２により計算された確率を示すクラスタバイグラムとを対応付けて記憶部２０６に記憶する。

図３は、記憶部２０６に含まれた辞書内の情報を概念的に示す。辞書には表記（秋田、蔵王）、読み（あきた、ざおう）、品詞（地名、人名）が含まれる。より具体的には、品詞はＩＤを用いて表記および読みと関連付けが行われる。同図に示すように、表記「秋田」、読み「あきた」には異なる品詞が関連付けられている。

図４は、言語モデルの作成装置２００により実行される本実施形態に係る言語モデルの作成手順を示すフローチャートである。

ステップＳ３０２において、語取得部２０２が記憶部２０６から同じ表記および読みの語の品詞を取得する。図３に示す例では、表記「秋田」、読み「あきた」で示される語の品詞の情報を取得することができる。ステップＳ３０４において、クラスタ作成部２０４において、取得された語の品詞をＯＲ演算子で組み合わせることにより、クラスタを作成する。図５に示す例では、「人名 ＯＲ 地名」という拡張品詞のクラスタが作成される。作成されたクラスタには新たなＩＤを付与される。

このようにして作成されたクラスタは辞書に記憶された各語の情報に対応付けられる。例えば、表記「秋田」、読み「あきた」という語にはクラスタ「人名 ＯＲ 地名」が与えられる。

ステップＳ３０６において、クラスタ記憶制御部２０８が、作成されたクラスタを記憶部２０６に記憶する。

以上の処理が、辞書内の全ての語の情報について探索が行われるまで続けられる（Ｓ３０７）。

図６は、言語モデルの作成装置２００において、上記処理により作成されたクラスタをコンピュータにより統計処理可能なレベルにまで分割する処理の一例を示すフローチャートである。この処理は、図４に示す処理により作成された全てのクラスタについて実行することができる。

クラスタが「品詞Ａ ＯＲ 品詞Ｂ」であると仮定する。品詞Ａの生起と品詞Ｂの生起がコーパスのトレーニングにおいて見かけの現象により機械的に識別することが可能である限り、クラスタを２つの別のクラスタＡとクラスタＢとに分割する。

例えば「ああ」という語は、感動詞とも、あるいはサ変副詞ともとることができる。仮にこの２つの品詞の可能性しかないとした場合、コーパスにこの単語が出現したところで「ああすればよかったのに」等のようにサ変活用語尾が付随していれば、サ変副詞であると断定することができる。従って、この場合クラスタ「感動詞 ＯＲ サ変副詞」は「感動詞」と「サ変副詞」とに分割することができる。

一方、表記「秋田」、読み「あきた」はコンピュータによりその品詞が人名であるか知名であるか判断できない。したがって、この品詞を拡張品詞「人名または地名」に属するものとして扱う。

分割は、実際には効果を計算することにより行われる。仮定の分割による言語モデルを作成し、文字の誤り率により効果を評価する。誤りの減少が得られた場合、分割を適用する。例えば、語「ああ」の可能な品詞をマージしてクラスタを作り、評価した場合に誤り率が３％であるとする。また、「ああ」を２つのクラスタに分割し、評価した場合に誤り率が２％であるとする。この場合、誤り率が低い後者を採用する。

ステップＳ６０２において、指示入力部２１２からクラスタを品詞に従って分割するための指示を入力する。

クラスタは複数のＯＲで結合された品詞の情報である。ここでは、複数の品詞をどのようにグループ化するかを指定する。

ステップＳ６０４において、言語モデルの作成装置２００は、分割前のクラスタをバッファ（不図示）に保持し、入力された指示に従って記憶部２０６に記憶されたクラスタを分割する。

分割されたクラスタの各々には新たなＩＤが付与される。ここで、グループ化の結果１つの品詞からなるクラスタが生成された場合はそのクラスタに通常の品詞ＩＤを付与することとしても良い。

ステップＳ６０６において、クラスタ分割部６０４は、分割されたクラスタを評価する。具体的には、分割されたクラスタを自動的にかなまたは漢字に変換し、事前に記憶しておいた正解文字列と比較し、結果として得られる文字誤り率を求める。この操作を様々な仕方で分割されたクラスタにおいて行い、誤り率の少ない分割方法を決定する。

そして、ステップＳ６０８において、分割されたクラスタが分割前のクラスタより信頼できるかどうか判定する。この判定の結果分割されたクラスタのほうが信頼できるものである場合は、ステップＳ６０２に移行し、さらなるクラスタの分割を行う。一方、分割されたクラスタが信頼できるものでなければ、分割したクラスタを破棄し、バッファに保持していたクラスタを最小グループとする。

次に、図７のフローチャートを参照し、言語モデルの作成装置２００において作成されたクラスタからクラスタバイグラムを計算する手順について説明する。

ステップＳ７０２において、文字列入力部２１４から文字列を入力する。

ステップＳ７０４において、入力された文字列に含まれた各語に読み、品詞を付与することによりテキストコーパスを作成する。ここで、付与される品詞は拡張品詞ではないことに留意されたい。

なお、一般にテキストコーパスの取得において、読みおよび品詞は辞書を用いて自動的に付加された後、テキストコーパス取得部２１６がユーザの操作による補助を受けて誤って付加された情報を修正する。

ステップＳ７０６において、計算部２２２は、記記憶２０６に記憶されたクラスタのうちの２つを組み合わせる。そして、組み合わせたクラスタがテキストコーパス内で生起する確率（クラスタバイグラム）を計算する。

ステップＳ７０８において、組み合わされたクラスタと計算された確率を示すクラスタバイグラムとを対応付けて記憶部２０６に記憶する。ここで、クラスタバイグラムの情報は数値ではなく所定の記号を用いることとしても良い。

以上のような処理の結果として、最適のクラスタ化を得ることができる。

図８は、上記のように作成されたクラスタバイグラムを含む言語モデルによりかな漢字変換を行うかな漢字変換装置の機能構成例を示すブロック図である。

かな漢字変換装置８００は、読み入力部８０２、読み分割部８０４、候補生成部８０６、記憶部８０８、トライグラム取得部８１０、バイグラム取得部８１２、クラスタバイグラム取得部８１４、決定部８１６および表示部８１８を含む。

記憶部８０８は、上記の処理により作成されたクラスタバイグラム、３つの語の組み合わせが生起する確率を示すトライグラム、および２つの語の組み合わせが生起する確率を示すバイグラムを記憶するものである。

読み入力部８０２はマウス４６１、タブレット４６４、キーボード４６２およびユーザ入力インタフェース４７０等によって構成され、文字列の読みを入力するものである。

読み分割部８０４は、読み入力部８０２により入力された文字列の読みを分割するものである。

候補生成部８０６は、読み分割部８０４により分割された読みをかなまたは漢字に変換して変換文字列の候補を生成するものである。

トライグラム取得部８１０は、記憶部８０８に記憶されたトライグラムから所与の条件に合致する値を取得するものである。

バイグラム取得部８１２は、記憶部８０８に記憶されたバイグラムから所与の条件に合致する値を取得するものである。

クラスタバイグラム取得部８１４は、記憶部８０８に記憶されたクラスタバイグラムから所与の条件に合致する値を取得するものである。

決定部８１６は、記憶部８０８から取得されたトライグラム、バイグラムおよびクラスタバイグラムに従って、かな漢字変換された変換文字列の候補の優先順位を決定するものである。

次に、図９を参照し、かな漢字変換装置８００により実行されるＮグラム（トライグラムおよびバイグラム）を用いたかな漢字変換方法の処理手順を説明する。

本実施形態では、トライグラム、バイグラムがゼロの場合にクラスタバイグラムへバックオフする。この場合、ｐは、以下のように記載される。

p(w3)=p(w3|w1 w2)
=p(w3|w2) if p(w3|w1 w2)が充分信頼できない程値が小さい
=P(Ci|Ci-1)P(wi|Ci) if p(w3|w2)が充分信頼できない程値が小さい

ここで、w1,w2,w3は語を、Ciはクラスタを示す。また、P(Ci|Ci-1)とは、クラスタCi-1が先行しているという条件の下で、クラスタCiが出現する確率を示す。P(wi|Ci)とは、クラスタCiの単語がwiである確率である。

最後の式の左側の項から、P(Ci|Ci-1)は、Ci-1の次にCiがきたケースの個数を、Ci-1の出現個数で割ったものであることがわかる。また、最後の式の右側の項により、P(wi|Ci)は、単語wiの出現個数をクラスタCiの出現個数（クラスタCiに属する全単語の出現個数）で割ったものであることがわかる。

ステップＳ９０２において、読み入力部８０２から文字列の読みを、例えばかな文字列により入力する。

ステップＳ９０４において、読み分割部８０４が入力された文字列の読みを分割する。

ステップＳ９０６において、候補生成部８０６が分割された読みをかなまたは漢字に変換して変換文字列の候補を生成する。

ステップＳ９０８において、トライグラム取得部８１０は、生成された文字列の各候補について、文字列に含まれた３つの語の並びが生起する確率を示すトライグラムを記憶部８０８から取得する。

ステップＳ９１０において、トライグラム取得部８１０は、取得された確率が所定の値Ｔａ以下であるかどうか判定する。所定の値Ｔａ以下である場合はＳ９１２に移行する。バイグラム取得部８１２は、ステップ８１０で判定処理の対象となった３つの語の並びに含まれた２つの語の並びが生起する確率を示すバイグラムを記憶部８０８から取得する。

ステップＳ９１４において、取得されたバイグラムが所定の値Ｔｂ以下であるかどうか判定する。バイグラムが所定の値Ｔｂ以下である場合、ステップＳ９１８に移行する。次いで、クラスタバイグラム取得部８１４が、この２つの語の並びに対応するクラスタの並びが生起する確率を示すクラスタバイグラムを記憶部８０８から取得する。

ステップＳ９２０において決定部８１６は、取得されたトライグラム、バイグラムまたはクラスタバイグラムに従って変換文字列の候補の優先順位を決定し、この優先順位に従って変換文字列の候補を並べ替える。

ステップＳ９２２において、決定部８１６は優先順位に従って並べられた順に従って変換した文字列を表示部８１８に表示する。

例えば、ステップＳ９０２において、読みとしてかな文字列「まきこかいにんに」と入力したとする。

この場合、入力された読みは
まきこ／かいにん／に
と分割することができる。このように分割した場合、変換文字列の候補は、以下のものを含むことができる。
（巻き込、真貴子）／（解任、懐妊）／（に、似）

この変換文字列の候補の組み合わせにおけるトライグラムの例を以下に示す。
巻き込-解任-に 確率 0
巻き込-解任-似 確率 0
巻き込-懐妊-に 確率 0
巻き込-懐妊-似 確率 0
真貴子-解任-に 確率 0.00001
真貴子-解任-似 確率 0
真貴子-懐妊-に 確率 0.00001
真貴子-懐妊-似 確率 0

この変換文字列の候補の組み合わせのバイグラムの例を以下に示す。
巻き込-解任 確率 0
巻き込-懐妊 確率 0
真貴子-解任 確率 0.00001
真貴子-懐妊 確率 0.00001
解任-に 確率 0.00001
解任-似 確率 0
懐妊-に 確率 0.00001
解任-似 確率 0

かな漢字変換装置８００がこれらのどのトライグラムも、どのバイグラムの組み合わせも充分信頼できないと判定した場合、最後の手段としてクラスタバイグラムへのバックオフを使用する。以下のようなクラスタバイグラム

マ行五段語幹(巻き込)-サ変名詞(解任,懐妊) 確率 0
名詞(真貴子)-サ変名詞(解任,懐妊) 確率（即ち名詞の後にサ変名詞が来る確率） 0.1
解任がサ変名詞のうちで占める確率 0.001
懐妊がサ変名詞のうちで占める確率 0.0001

を参照した場合、「真貴子解任」の確率が、名詞(真貴子)-サ変名詞(解任,懐妊)の確率×解任がサ変名詞のうちで占める確率=0.1*0.001=0.0001で最も大きい。このようにクラスタバイグラムへのバックオフを使うことで、たとえば動詞語幹にサ変名詞が直接つくような「巻き込解任」といった誤変換を抑制することができる。

以上詳述した処理によれば、機械が区別できるテキストの見かけ上の属性によってクラスタを構築することができる。

また、ユニグラムへのバックオフを新しいクラスタバイグラムで置き換えるので、最悪の場合の手段がクラスタバイグラムであるため、文脈を考慮したかな漢字変換を行うことができる。

本明細書で例示および説明した方法の実行または遂行の順序は、特に指定のない限り、必須ではない。すなわち、発明者によって、特に指定のない限りこれらの方法の要素をいかなる順序で実行することもできること、および、これらの方法には本明細書で開示された要素より多いかあるいは少ない要素が含まれる場合があることが企図される。

上記に鑑みて、本発明のいくつかの目的が達成され、他の有利な結果が達成されることはわかるであろう。

上記の構成および方法において、様々な変更を本発明の実施形態の範囲から逸脱することなく行うことができる。

例えば、図２に示す機能ブロックは、図４、６および７に示すフローチャート毎に分解することができる。従って、図４の方法を実施する装置、図６の方法を実施する装置、および図７の方法を実施する装置を異なる装置として構成しても良い。また、図４、６および７に示すそれぞれの方法を任意に組み合わせて実施する装置を構成することも可能である。

また、図２に示す機能と図８に示す機能を含む装置を構成することも可能である。

また、上記の実施形態では図９を参照し、閾値を使用してトライグラム、バイグラム、クラスタバイグラムを順に取得する例を説明したが、閾値を使用せずに、トライグラム、バイグラムおよびクラスタバイグラムをすべて計算して一番高い確率を採用してもよい。

さらに、上述の実施形態では、トライグラム、バイグラムおよびクラスタバイグラムを使用して仮名漢字変換を行う例を示したが、任意のＮグラム（Ｎ≧２）を用いた仮名漢字変換においてクラスタバイグラムへのバックオフを採用することで本発明の効果を奏することができる。

従って、上記の説明に含まれ、添付の図面に示した全ての内容は、限定の意味ではなく例示として解釈されるものとすることが意図される。

本発明を実施するための環境の例を示すブロック図である。 本発明の一実施形態に係る言語モデルの作成装置の機能構成を概略的に示すブロック図である。 辞書内の情報を概念的に示す図である。 本実施形態に係る言語モデルの作成手順を示すフローチャートである。 辞書に付与されたクラスタの例を示す図である。 クラスタをコンピュータにより統計処理可能なレベルにまで分割する処理の一例を示すフローチャートである。 本発明の一実施形態に係る言語モデルの作成装置において作成されたクラスタからクラスタバイグラムを計算する手順を示すフローチャートである。 本発明の一実施形態に係るクラスタバイグラムを用いたかな漢字変換装置の機能構成例を示すブロック図である。 本発明の一実施形態に係るかな漢字変換装置により実行されるかな漢字変換方法の処理手順を示すフローチャートである。

符号の説明

２００ 言語モデルの作成装置
２０２ 語取得部
２０４ クラスタ作成部
２０６ 記憶部
２０８ クラスタ記憶制御部
２１０ クラスタ分割部
２１２ 指示入力部
２１４ 文字列入力部
２１６ テキストコーパス取得部
２１８ 組み合わせ部
２２０ クラスタバイグラム記憶制御部
２２２ 計算部
８００ かな漢字変換装置
８０２ 読み入力部
８０４ 読み分割部
８０６ 候補生成部
８０８ 記憶部
８１０ トライグラム取得部
８１２ バイグラム取得部
８１４ クラスタバイグラム取得部
８１６ 決定部
８１８ 表示部

Claims (6)

1. 記憶装置内に、Ｎ個の語の組み合わせが生起する確率を示すＮグラム、および２つの品詞のクラスタの組み合わせが生起する確率を示すクラスタバイグラムであって、少なくとも１つのクラスタは少なくとも２つの品詞を含むクラスタバイグラムを有するコンピュータにおけるかな漢字変換方法であって、前記方法は、前記コンピュータの処理装置が、
   文字列の読みを入力するステップと、
   前記入力された文字列の読みを分割するステップと、
   前記分割された読みをかなまたは漢字に変換して変換文字列の候補を生成するステップと、
   前記変換文字列の候補に含まれたＮ個の語の組み合わせが生起する確率を示すＮグラムを前記記憶装置から取得するステップと、
   前記変換文字列の候補に含まれた２つのクラスタの組み合わせが生起する確率を示すクラスタバイグラムを前記記憶装置から取得するステップと、
   前記取得されたＮグラムおよびクラスタバイグラムに従って前記変換文字列の候補の優先順位を決定するステップと
   を備えることを特徴とするかな漢字変換方法。
2. 前記記憶装置内には表記、読みおよび品詞を関連付けた語の情報が記憶されており、前記処理装置が、
   同じ表記および読みの語の品詞を前記記憶装置から取得するステップと、
   前記取得された品詞を組み合わせることによりクラスタを作成するステップと、
   前記作成されたクラスタを前記記憶装置に記憶するステップと、
   前記クラスタを分割するための指示を入力するステップと、
   前記入力された指示に従って前記記憶装置に記憶されたクラスタを分割するステップと
   をさらに備え、前記クラスタバイグラムは、前記分割されたクラスタの組み合わせが生起する確率を示すことを特徴とする請求項１に記載のかな漢字変換方法。
3. 前記処理装置が前記クラスタバイグラムを作成するステップであって、
   文字列を入力するステップと、
   前記入力された文字列に含まれた各語に品詞を付与することによりテキストコーパスを取得するステップと、
   前記記憶装置に記憶されたクラスタのうちの２つを組み合わせるステップと、
   前記組み合わせたクラスタが前記テキストコーパス内で生起する確率を計算するステップと、
   前記組み合わされたクラスタと前記計算された確率を示すクラスタバイグラムとを対応付けて前記記憶装置に記憶するステップと
   を含む、前記クラスタバイグラムを作成するステップをさらに備えることを特徴とする請求項２に記載のかな漢字変換方法。
4. Ｎ個の語の組み合わせが生起する確率を示すＮグラム、および２つの品詞のクラスタの組み合わせが生起する確率を示すクラスタバイグラムであって、少なくとも１つのクラスタは少なくとも２つの品詞を含むクラスタバイグラムを記憶した記憶手段と、
   文字列の読みを入力する読み入力手段と、
   前記読み入力手段により入力された文字列の読みを分割する読み分割手段と、
   前記読み分割手段により分割された読みをかなまたは漢字に変換して変換文字列の候補を生成する候補生成手段と、
   前記候補生成手段により生成された変換文字列の候補に含まれたＮ個の語の組み合わせが生起する確率を示すＮグラムを前記記憶手段から取得するＮグラム取得手段と、
   前記変換文字列の候補に含まれた２つのクラスタの組み合わせが生起する確率を示すクラスタバイグラムを前記記憶手段から取得するクラスタバイグラム取得手段と、
   前記Ｎグラム取得手段により取得されたＮグラムおよび前記クラスタバイグラム取得手段により取得されたクラスタバイグラムに従って前記変換文字列の候補の優先順位を決定する決定手段と
   を備えることを特徴とするかな漢字変換装置。
5. コンピュータを、
   Ｎ個の語の組み合わせが生起する確率を示すＮグラム、および２つの品詞のクラスタの組み合わせが生起する確率を示すクラスタバイグラムであって、少なくとも１つのクラスタは少なくとも２つの品詞を含むクラスタバイグラムを記憶した記憶手段、
   文字列の読みを入力する読み入力手段、
   前記読み入力手段により入力された文字列の読みを分割する読み分割手段、
   前記読み分割手段により分割された読みをかなまたは漢字に変換して変換文字列の候補を生成する候補生成手段、
   前記候補生成手段により生成された変換文字列の候補に含まれたＮ個の語の組み合わせが生起する確率を示すＮグラムを前記記憶手段から取得するＮグラム取得手段、
   前記変換文字列の候補に含まれた２つのクラスタの組み合わせが生起する確率を示すクラスタバイグラムを前記記憶手段から取得するクラスタバイグラム取得手段、ならびに
   前記Ｎグラム取得手段により取得されたＮグラムおよび前記クラスタバイグラム取得手段により取得されたクラスタバイグラムに従って前記変換文字列の候補の優先順位を決定する決定手段として機能させるためのコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images