JP6618735B2 - 質問応答システムの訓練装置及びそのためのコンピュータプログラム - Google Patents

Description

この発明は質問応答システムに関し、特に、質問応答システムにおいて、「なぜ型質問」に対する回答の精度を高める技術に関する。

人間にとって、何か疑問が生じたときにその回答を見つけることは基本的な活動の１つである。例えば「なぜガンになるのか」という質問に対して、その回答を見つけるための様々な努力がなされてきた。一方、コンピュータが発達し、人間が今まで行ってきた様々な活動を、人間より高い能力で行うことが可能になった。例えば物事を記憶したり、求める情報を高速に検索したりする能力である。

ところが、従来、上に述べたような、「なぜ型質問」に対する回答をコンピュータで検索することは極めて困難なタスクと考えられていた。ここで、「なぜ型質問」とは、「なぜガンになるのか」という質問のように、何らかの事象が発生した理由を尋ねる質問のことをいい、それに対する回答をコンピュータにより見つけることを「なぜ型質問応答」と呼ぶ。

一方、コンピュータハードウェアとソフトウェアの発達により、人間が「なぜ型質問」に対する回答を見つける方法とは異なる方法で「なぜ型質問」に対する回答を探索する技術が研究されている。技術分野としては、いわゆる人工知能、自然言語処理、ウェブマイニング、データマイニング等と呼ばれる分野である。

この点に関し、質問応答システムの一例として、本願の出願人がインターネット上で公開している質問応答サービスがある。この質問応答システムは、その１つの構成要件として、なぜ型質問応答システムを実装している。このなぜ型質問応答システムは、後掲の特許文献１に開示された技術を用いたものである。

このなぜ型質問応答システムは、予めウェブから大量の文書を収集しておき、その中から、因果関係を表す語彙等に着目して大量の因果関係表現を取り出しておく。ここでいう因果関係表現とは、原因を表すフレーズと、結果を表すフレーズとが特定の語彙によって結ばれているような表現のことをいう。このシステムは、「なぜ型質問」を受けると、この大量の因果関係表現の中から、結果部分が質問文と共通しているものを集め、その原因を表すフレーズを回答候補として抽出する。このような回答候補が大量に得られるため、このシステムでは、それらの中から質問に対する回答として適切なものを選ぶための分類器を用いる。

この分類器は、テキストの語彙的な特徴（単語列、形態素列等）、構造的特徴（部分的な構文木等）、意味的な特徴（単語の意味、評価表現、因果関係等）を用いた教師あり学習で学習を行う。

特開２０１５−０１１４２６号公報 特開２０１３−１７５０９７号公報

上記した従来のなぜ型質問応答システムは、この分類器を用いてある程度の性能を示しているが、まだ改善の余地が残されている。性能改善のためには、より多くの、適切な学習データを用いて分類器の学習を行えばよいと考えられる。しかし、従来は、学習データは人手で作成していて作成コストが高いため、大量の学習データを作成することが困難であった。さらに、どのような学習データを選べば効率よく分類器の学習が行えるかが不明であった。したがって、より効率よく分類器の学習を行って分類器の性能を向上させる技術が望まれている。

それゆえに本発明の目的は、人手をできるだけ介さずに、効率よく分類器の学習データを作成して学習が行えるようななぜ型質問応答システムの訓練装置を提供することである。

本発明の第１の局面に係る質問応答システムの訓練装置は、複数の因果関係表現を記憶する因果関係表現記憶手段、因果関係表現記憶手段に記憶された、同じ因果関係表現から抽出された質問とその質問に対する予想回答との組を複数記憶した質問及び予想回答記憶手段、及び、質問を受けると、当該質問に対する複数の回答候補をスコア付で出力する質問応答システムとともに使用され、当該質問応答システム内の回答候補のスコア付けを行う分類器の性能を向上させるための訓練装置である。訓練装置はさらに、質問応答システムの分類器の学習を行うための学習データ記憶手段を備えた学習装置とともに使用される。この訓練装置は、学習データ記憶手段に記憶された学習データを用いて分類器の学習を行うように学習装置を制御する学習装置制御手段と、質問・予想回答記憶手段に記憶された質問を発行して質問応答システムに与える質問発行手段と、質問発行手段が発行した質問に対して質問応答システムからスコアとともに出力される複数の回答候補の各々と、当該質問とのペアから、質問応答システムの分類器の学習データを生成し学習データ記憶手段に追加する学習データ追加手段と、学習装置制御手段による学習装置の制御と、質問発行手段による質問の発行と、学習データ追加手段による学習データの追加とを、所定の終了条件が成立するまで、複数の回数だけ繰返して実行するように学習装置制御手段、質問発行手段、及び学習データ追加手段を制御する繰返制御手段とを含む。

好ましくは、学習データ追加手段は、質問発行手段が発行した質問に対して質問応答システムからスコアとともに出力される複数の回答候補のうち、スコアの絶対値が正の第１のしきい値より小さく、かつ当該スコアが上位の所定個数の回答候補を選択する回答候補選択手段と、回答候補選択手段により選択された所定個数の回答候補の各々と、質問に対応する予想回答との間の一致度を算出し、当該一致度が第２のしきい値より大きいか否かにしたがって、当該回答候補と、当該質問とに、正例又は負例のラベルを付して学習データ候補を生成する学習データ候補生成手段と、学習データ候補生成手段により生成された学習データ候補を新たな学習データとして学習データ記憶手段に追加する学習データ追加手段とを含む。

より好ましくは、学習データ追加手段はさらに、回答候補選択手段の出力と学習データ候補生成手段の入力との間に設けられ、回答候補選択手段により選択された回答候補のうち、当該回答候補の元になった質問が得られた因果関係表現から得られたものを破棄する、第１の回答候補破棄手段を含む。

さらに好ましくは、学習データ追加手段はさらに、回答候補選択手段の出力と学習データ候補生成手段の入力との間に設けられ、回答候補選択手段により選択された回答候補と質問とのペアのうち、学習データ記憶手段に記憶されたものと一致するものを削除する第２の回答候補破棄手段を含む。

学習データ追加手段は、学習データ候補生成手段により生成された学習データ候補の一部であって、当該学習データ候補に含まれる回答候補のスコアが上位の所定個数のみを選択して新たな学習データとして学習データ記憶手段に追加する学習データ選択手段を含んでもよい。
また、質問応答システムは、複数の文からなるパッセージであって、因果関係表現の抽出を行う際に手がかりとなるフレーズを少なくとも１つ含むパッセージの集合から回答候補を抽出するものであってもよい。

本発明の第２の局面に係るコンピュータプログラムは、複数の因果関係表現を記憶する因果関係表現記憶手段、因果関係表現記憶手段に記憶された、同じ因果関係表現から抽出された質問とその質問に対する予想回答との組を複数記憶した質問及び予想回答記憶手段、及び、質問を受けると、当該質問に対する複数の回答候補をスコア付で出力する質問応答システムとともに使用され、当該質問応答システム内の、機械学習による分類器の性能を向上させるための、質問応答システムの訓練装置としてコンピュータを機能させるコンピュータプログラムである。訓練装置はさらに、質問応答システムの分類器の学習を行うための学習データ記憶手段を備えた学習装置とともに使用される。組を形成する質問と予想回答とは、同じ因果関係表現から生成されたものである。コンピュータプログラムは、上記したいずれかの訓練装置を構成する各手段としてコンピュータを機能させる。

本発明の実施の形態に係るなぜ型質問応答システムの訓練システムの概要を模式的に示す図である。 図１に示すなぜ型質問応答システムの訓練装置の概略構成を示すブロック図である。 因果関係表現から質問と予想回答とのペアを作成する手順を示す模式図である。 大量の文書を記憶したウェブ文書等から抽出された大量の因果関係から、図３に示すような質問と予想回答とのペアを生成する質問・予想回答生成・抽出部のブロック図である。 図４に示す質問・予想回答生成・抽出部で使用される、質問のフィルタ処理を行う第２フィルタ部の学習を行う第２フィルタ学習部のブロック図である。 図２に示す繰返制御部１１０をコンピュータハードウェアとコンピュータソフトウェアとの協働により実現する際の、コンピュータプログラムの制御構造を示すフローチャートである。 図２に示す回答候補フィルタ部、回答候補判定部、及び学習データ生成・ラベリング部を実現するコンピュータプログラムの制御構造を示すフローチャートである。 本発明の実施の形態に係る訓練システムによって学習を行った分類器の性能を、従来技術と比較して示すグラフである。 本発明の実施の形態をコンピュータで実現する際に必要となる、コンピュータハードウェアの構成を示すブロック図である。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。

［概要］
図１に、本発明の実施の形態に係るなぜ型質問応答システムの訓練システム５０の概要を模式的に示す。図１を参照して、この訓練システム５０は、上記した先行技術のなぜ型質問応答システム６０が苦手とする質問を自動認識し、そのような質問に対する応答を発見して分類器の性能を強化するような学習データを自動作成し学習データ記憶部６４に格納する訓練装置６２を含む。学習データ記憶部６４に記憶された学習データを用いた学習処理部６６による学習により、なぜ型質問応答システム６０の性能が向上する。

［構成］
図２に、訓練システム５０の具体的な構成を示す。図２を参照して、訓練システム５０は、ウェブから集めた大量の文書からなるウェブコーパスを記憶するウェブコーパス記憶部６８と、ウェブコーパス記憶部６８に記憶された大量の文書から、大量の因果関係表現を抽出する因果関係表現抽出部７０と、因果関係表現抽出部７０により抽出された因果関係表現を記憶する因果関係表現記憶部７２とを含む。なお、因果関係の抽出には、上記した特許文献１に開示された技術に加え、特許文献２に記載された技術を用いることができる。

訓練システム５０はさらに、因果関係表現記憶部７２に記憶された大量の因果関係表現の中から、学習データを生成するのに適切な質問とその予想回答とを生成し出力する質問・予想回答生成・抽出部７４と、質問・予想回答生成・抽出部７４により出力された質問と予想回答とを記憶する質問・予想回答記憶部７６と、質問・予想回答記憶部７６に記憶された質問及び予想回答の組をなぜ型質問応答システム６０に与え、その回答を用いて、なぜ型質問応答システム６０の性能を向上させるような学習データを生成して学習データ記憶部６４に格納する、前述の訓練装置６２とを含む。

図３に、因果関係表現１３０から質問１４４及びその予想回答１４６を作成する手順を示す。因果関係表現には様々な表現があり得るが、例えば図３に示す因果関係表現１３０の場合、原因を表す原因フレーズ１４０と、結果を表す結果フレーズ１４２とが、両者の間の因果関係を表す接続詞「〜ため」により接続されている。この結果フレーズ１４２を一定の変形規則にしたがって変形することにより質問１４４が得られる。原因フレーズ１４０からも、一定の変形規則により質問１４４に対する予想回答１４６が得られる。因果関係の形に応じて、変形規則の組を予め準備しておくことにより、因果関係表現から質問文とその予想回答とのペアを生成できる。

再び図２を参照して、なぜ型質問応答システム６０は、与えられた質問に対する複数の回答候補をウェブコーパス記憶部６８の中から検索する回答候補検索部１２０と、回答候補検索部１２０により検索された大量の回答候補を、予め学習済の分類器を用いてスコア付けし、ランキングして出力するランキング部１２２とを含む。学習データ記憶部６４に記憶された学習データを用いた学習処理部６６による学習が行われるのは、このランキング部１２２の分類器である。ランキング部１２２は、各回答候補にスコアを付した形で出力する。このスコアは、当該分類器による分類の結果付される、質問に対する回答の確からしさを表すスコアである。回答候補検索部１２０が出力する回答候補は、ウェブコーパス記憶部６８に格納された文書の中で、質問文との間のｔｆ−ｉｄｆの値が上位の一定数の（本実施の形態では１２００組）の一連の文列（パッセージ）である。なお、本実施の形態では、なぜ型質問応答システム６０が大量の文書から回答候補を効率よく検索できるようにするために、以下の様な工夫をしている。すなわち、ウェブコーパス記憶部６８に記憶された文書の中で、連続する７文からなるパッセージであって、かつ、Ｏｈらの論文（Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. 2013. Why-question answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pages 1733-1743.）において使用された、因果関係を認識するための手がかりとなるフレーズを少なくとも１つ含むようなパッセージを抽出し、回答候補はこれらパッセージの集合の中から検索するよう、なぜ型質問応答システム６０の回答候補の検索範囲を限定した。なお、パッセージが含む文の数は７には限定されず、５から１０程度の範囲から選択するようにしてもよい。

訓練装置６２は、質問・予想回答記憶部７６に記憶された多数の質問・予想回答のペアから質問を選択して回答候補検索部１２０に対する質問を発行する質問発行部１００と、質問発行部１００により発行された質問に対してなぜ型質問応答システム６０が送信して来る、ランキングされた回答候補の中から、一定の条件を充足する回答候補のみを残し他をフィルタリングする回答候補フィルタ部１０２とを含む。回答候補フィルタ部１０２の機能については図７を参照して後述する。

訓練装置６２はさらに、回答候補フィルタ部１０２が出力する回答候補の各々について、質問発行部１００が発行した質問と組になっている予想回答と比較することにより、その回答候補が正しいか否かを判定し判定結果を出力する回答候補判定部１０４と、質問とその回答候補の組に、その回答候補に対して回答候補判定部１０４が出力した判定結果をラベルとして付して学習データ候補を生成する学習データ生成・ラベリング部１０６と、学習データ生成・ラベリング部１０６により出力された学習データ候補を蓄積し、質問・予想回答生成・抽出部７４に含まれる全因果関係表現に対して学習データ候補の生成が終わった時点で、学習データ候補の中で、ランキング部１２２により付されたスコアが最も高い所定個数（Ｋ個）を選択して学習データ記憶部６４に学習データとして追加する学習データ選択部１０８と、質問発行部１００、回答候補フィルタ部１０２、回答候補判定部１０４、学習データ生成・ラベリング部１０６及び学習データ選択部１０８による処理を、所定の終了条件が充足されるまで繰返し行うようこれらを制御する繰返制御部１１０とを含む。

図４に、図２に示す質問・予想回答生成・抽出部７４の構成を示す。図４を参照して、質問・予想回答生成・抽出部７４は、因果関係表現記憶部７２に記憶された因果関係表現の結果部分に、質問文生成のために不足している情報があればそれらを補充する補充処理部１７２と、予め人手により作成された、因果関係の結果フレーズから質問文を生成するための規則を記憶する規則記憶部１７０と、因果関係表現記憶部７２に記憶された因果関係表現の各々の結果フレーズであって、補充処理部１７２により補充がされたものに対し、規則記憶部１７０に記憶された規則のうちでいずれか適合するものを選択して適用し、質問文を生成して出力する質問文生成部１７４とを含む。

ここで、補充処理部１７２の処理について説明する。因果関係表現の結果フレーズ部分には、他の部分への照応（他の部分の参照）が存在していたり、述部がとるべき引数がなかったりする場合が多い。その結果、結果部分には主語が存在していなかったり、トピックが抜け落ちたりしていることがある。もしもそれらの結果部分から質問文を生成すると、学習データとして適切なものを得ることができない。そこで、補充処理部１７２は、そのような主語及びトピックを因果関係表現の他の部分から補充する。

質問・予想回答生成・抽出部７４はさらに、質問文生成部１７４が出力する質問文の中で、代名詞を含むものをフィルタリングし、それ以外を出力する第１フィルタ処理部１７６と、第１フィルタ処理部１７６の出力する質問文の中で、述部に関する引数が欠けているものがあればそれらをフィルタリングし、それ以外のものを出力する第２フィルタ処理部１７８と、因果関係表現の原因部分から予想回答を生成するための変形規則を記憶した規則記憶部１８２と、第２フィルタ処理部１７８の出力する質問が得られた因果関係表現の原因部分に、規則記憶部１８２に記憶された変形規則を適用して、当該質問に対する予想回答を生成し、質問と組にして質問・予想回答記憶部７６に格納する予想回答生成部１８０とを含む。

図４に示す第２フィルタ処理部１７８による処理は、機械学習による判別器を用いて行う。図５を参照して、この第２フィルタ処理部１７８のための学習は、第２フィルタ学習部２０２により行われる。この学習のために、正例学習データ記憶部２００に、自己完結している「なぜ型質問」の例を正例として記憶させる。本実施の形態では、９，５００個の「なぜ型質問」を人手で準備した。第２フィルタ処理部１７８は、ＳＶＭ−Ｌｉｇｈｔ（T. Joachims. 1999. Making large-scale SVM learning practical. In B. Schoelkopf, C. Burges, and A. Smola, editors, Advances in Kernel Methods - Support Vector Learning, chapter 11, pages 169-184. MIT Press, Cambridge, MA.）において実装されたサブセットツリーカーネルを用いた。このサブセットツリーカーネルの学習を、以下のツリー及びベクトルの組合せを用いて行った。

・フレーズ構造木のサブセットツリー
・名詞を対応する単語クラスで置き換えたサブセットツリー
・形態素及びＰＯＳタグ−ｎグラムで表したベクトル

第２フィルタ学習部２０２は、正例学習データ記憶部２００に記憶された正例学習データの各質問文において、主語又は目的語、若しくはその双方を削除することにより自動的に負例の学習データを生成する負例学習データ生成部２２０と、負例学習データ生成部２２０により生成された負例学習データを記憶する負例学習データ記憶部２２２と、正例学習データ記憶部２００に記憶された正例及び負例学習データ記憶部２２２に記憶された負例をマージし、各質問文から所定の特徴量を抽出して正例・負例のラベルを付すことにより学習データセットを生成する学習データ生成部２２４と、学習データ生成部２２４に記憶された学習データを記憶する学習データ記憶部２２６と、学習データ記憶部２２６に記憶された学習データを用いて第２フィルタ処理部１７８の学習を行う学習処理部２２８とを含む。本実施の形態では、９，５００個の正例学習データから１６，０９４個の負例の学習データを生成した。したがって学習データは合計２５，５９４個となった。

学習データ生成部２２４による学習データの生成は、各質問文の依存構造解析を日本語係り受け解析ツール（Ｊ．ＤｅｐＰ）により行い、得られた依存構造木をフレーズ構造木に変換して行った。この変換には以下の様な簡単な規則を用いた。依存構造木において、各文節の主要語が名詞であればＮＰ（名詞句）を、動詞又は形容詞であればＶＰを、それ以外であればＯＰを、依存構造木の各文節の親ノードとしてそれぞれ追加することによりフレーズ構造木に変換した。このフレーズ構造木から上記サブセットツリーの素性を抽出した。

再び図２を参照して、図２に示す繰返制御部１１０の機能について説明する。繰返制御部１１０は、図２の質問発行部１００、回答候補フィルタ部１０２、回答候補判定部１０４、学習データ生成・ラベリング部１０６、及び学習データ選択部１０８による処理を、所定の終了条件が充足されるまで繰返し実行する機能を持つ。繰返制御部１１０は、コンピュータハードウェアとコンピュータソフトウェアとにより実現可能である。

図６を参照して、繰返制御部１１０を実現するプログラムは、起動後、メモリ領域の確保、オブジェクトの生成等の準備処理を行うステップ２５０と、繰返制御変数ｉに０を代入するステップ２５２と、変数ｉに関する終了条件が成立するまで（具体的には変数ｉが予め定められた上限数に達するまで）、以下の処理２５６を繰返して実行するステップ２５４とを含む。尚、以下の説明では繰返しのｉ回目のデータであることを示すために、各記号の右肩に小文字のｉを付す。

なお、以下の説明では、質問発行部１００からなぜ型質問応答システム６０に対して与えられる質問をｑ，その質問ｑに対する予想回答をｅ、その質問ｑに対してなぜ型質問応答システム６０から返されてくる回答候補が複数個（具体的には２０個）あり、それらを回答候補ｐ_ｊ（ｊ＝１〜２０）とする。各回答候補には、ランキング部１２２によるランキングのスコアｓが付されている。ランキング部１２２は本実施の形態ではＳＶＭにより実現されている。したがってスコアｓの絶対値ｑは、ＳＶＭの識別境界から回答候補までの距離を示す。この距離が小さければ回答の信頼度が低く、大きければ信頼度が高い。質問ｑと回答候補ｐ_ｊからなるペアのうちで、スコアｓが最大のペアを（ｑ´、ｐ´）で表す。また、繰返しのｉ番目の学習データをＬ^ｉで表し、その学習データＬ^ｉにより学習したランキング部１２２の分類器をｃ^ｉで表す。まだ正例、負例のラベルが付されていないこのようなペアをラベルなしペアと呼ぶ。

処理２５６は、学習処理部６６が、図２に示す学習データ記憶部６４に記憶された学習データＬ^ｉで図２に示すランキング部１２２の分類器ｃ^ｉの学習を行うステップ２７０を含む。処理２５６はさらに、ステップ２７０の後、質問・予想回答記憶部７６に格納された各質問文を回答候補検索部１２０に与え、その結果、ランキング部１２２から送られてくる応答により、質問と回答候補とからなるラベルなしペアのうち、学習データとして適切な一部のペアに正例・負例のラベリングを付すステップ２７２を含む。ステップ２７２の処理内容については図７を参照して後述する。

１つの質問ｑに対して複数個（本実施の形態では２０個）の回答候補がランキング部１２２から回答候補フィルタ部１０２に送信されてくる。質問ｑ及び予想回答ｅに加えてランキング部１２２からの回答候補ｐ_ｊ（ｊ＝１〜２０）からなる３つ組み（ｑ，ｅ、ｐ_ｊ）をＵで表し、１つの質問ｑに対してステップ２７２の処理により得られたデータの集合をＬ_Ｕ ^ｉとすると、Ｌ_Ｕ ^ｉ＝Ｌａｂｅｌ（ｃ^ｉ、Ｕ）と表せる。ステップ２７２では、この処理を質問・予想回答記憶部７６に記憶された全ての質問・予想回答ペアに対して実行する。

処理２５６はさらに、全ての質問に対してステップ２７２により得られた全てのラベリング後のペアＬ_Ｕ ^ｉのうち、そのスコアが上位であるＫ個のペアを学習データＬ^ｉに追加して新たな学習データＬ^ｉ＋１を生成するステップ２７４と、変数ｉの値に１を加算して処理２５６を終了するステップ２７６とを含む。

図７を参照して、図６に示すステップ２７２を実現するプログラムは、質問発行部１００からなぜ型質問応答システム６０に対して与えた質問ｑと、その質問ｑに対してなぜ型質問応答システム６０から送信されてきた２０個の回答候補ｐ_ｊの各々からなるラベルなしペア（ｑ，ｐ_ｊ）のうち、スコアｓが最大のペア（ｑ´，ｐ´）を選択するステップ３００と、ステップ３００で選択されたペア（ｑ´，ｐ´）のスコアｓの絶対値が所定のしきい値α（＞０）より小さいか否かを判定し、判定が否定なら何もせずこのルーチンの実行を終了するステップ３０２とを含む。このように、本実施の形態では、応答候補の内でスコアｓが最も大きく、かつその値がしきい値α未満のものについては、なぜ型質問応答システム６０による応答に信頼がおけないと判断し、その例についての学習データを追加することにする。

このプログラムはさらに、ステップ３０２の判定が肯定のときに、回答候補ｐ´が、質問ｑ´の得られたもとの因果関係表現を含むか否かを判定し、判定が肯定ならこのルーチンの実行を終了するステップ３０４と、ステップ３０４の判定が否定の時に、ペア（ｑ´、ｐ´）が現在の学習データ中にあるか否か判定し、判定が肯定ならこのルーチンの実行を終了するステップ３０６とを含む。ステップ３０４の判定は、因果関係表現が得られたパッセージに過大なバイアスが加えられないようにするためである。ステップ３０６の判定は、同じ例が学習データに加えられないようにするためである。

このプログラムはさらに、ステップ３０６の判定が否定の時に、回答候補ｐ´と、質問ｑ´に対する予想回答ｅ´との間の重複語彙量Ｗ１、及び回答候補ｐ´と質問ｑ´との間の重複語彙量Ｗ２を算出するステップ３０８と、ステップ３０８で算出された重複語彙量Ｗ１及びＷ２がいずれも所定のしきい値ａより大きいか否かを判定し、判定結果により制御の流れを分岐させるステップ３１０と、ステップ３１０の判定が肯定のときに、ペア（q´，ｐ´）に正例を示すラベルを付して追加学習データとして出力し、このルーチンの実行を終了するステップ３１２と、ステップ３１０の判定が否定のときに、重複語彙量Ｗ１及びＷ２がいずれも所定のしきい値ｂ（ｂ＜ａ）より小さいか否かを判定し、判定結果により制御の流れを分岐させるステップ３１１と、ステップ３１１の判定が肯定のときに、ペア（ｑ´，ｐ´）に負例を示すラベルを付して追加学習データとして出力し、このルーチンの実行を終了するステップ３１４とを含む。ステップ３１１の判定が否定のときには何もせず、このルーチンは終了する。

予想回答ｅ´は、質問ｑ´が得られた因果関係表現の原因部分から得られたものである。したがって、予想回答ｅ´は質問ｑ´の回答としてふさわしいものと考えられる。もしも予想回答ｅ´と回答候補ｐ´との重複語彙量が大きい場合には、回答候補ｐ´は質問ｑ´に対する回答としてふさわしいと考えられる。一般的に、予想回答ｅと回答候補ｐとの間の重複語彙量Ｔｍ（ｅ、ｐ）は以下の式により算出される。

ここで、Ｔ（ｘ）は、文ｘに含まれる内容語（名詞、動詞、形容詞）からなる集合であり、Ｓ（ｐ）は回答候補ｐを構成するパッセージの中の連続する２文からなる集合である。
なお、上の例では、ステップ３１０において、重複語彙量Ｗ１及びＷ２について、同じしきい値ａと比較しているが、本発明はそのような実施の形態には限定されない。重複語彙量Ｗ１とＷ２について、互いに異なるしきい値と比較するようにしてもよい。ステップ３１１において重複語彙量Ｗ１及びＷ２と比較されるしきい値ｂについても同様であり、互いに重複語彙量Ｗ１及びＷ２を互いに異なるしきい値と比較するようにしてもよい。
また、ステップ３１０及びステップ３１１においては、２つの条件がいずれも成立している時に全体として条件が充足されていると判定したが、２つの条件のいずれかが成立していれば全体として条件が充足されていると判定してもよい。

［動作］
この訓練システム５０は以下のように動作する。図２を参照して、予めウェブコーパス記憶部６８に多数の文書を収集しておく。回答候補検索部１２０は、与えられた各質問にふさわしいと思われる回答候補であるパッセージを、ウェブコーパス記憶部６８からｔｆ−ｉｄｆによりランキングして、ｔｆ−ｉｄｆが上位の所定個数（本実施の形態ｓでは１２００個）だけ抽出し、ランキング部１２２に与える。学習データ記憶部６４には、初期の学習データが準備されている。因果関係表現抽出部７０がウェブコーパス記憶部６８から多数の因果関係表現を抽出し、因果関係表現記憶部７２に格納する。質問・予想回答生成・抽出部７４が、因果関係表現記憶部７２に記憶された多数の因果関係表現から、質問と、その質問に対する予想回答との組を抽出し、質問・予想回答記憶部７６に格納する。

図４を参照して、このとき、質問・予想回答生成・抽出部７４は、以下のように動作する。まず図４に示す補充処理部１７２が、因果関係表現記憶部７２に記憶された因果関係表現の各々について、照応関係、省略等を検出し、それらの照応関係、省略語等を補完することにより、因果関係表現の特に結果部分に不足している部分（主語、トピック等）を補充する。質問文生成部１７４は、因果関係表現の結果部分について、規則記憶部１７０を参照し、適切な変形規則を適用してなぜ型質問文を生成する。第１フィルタ処理部１７６は、質問文生成部１７４により生成された質問文のうち、代名詞を含むものをフィルタリングし、それ以外のものを第２フィルタ処理部１７８に出力する。第２フィルタ処理部１７８は、述部の引数のうち、必須のものがない質問をフィルタリングし、それ以外のものを予想回答生成部１８０に与える。予想回答生成部１８０は、第２フィルタ処理部１７８の出力する質問が得られた因果関係表現の原因部分に、規則記憶部１８２に記憶された変形規則を適用して、当該質問に対する予想回答を生成し、質問と組にして質問・予想回答記憶部７６に格納する。

なお、これに先立って、図５に示す第２フィルタ学習部２０２により第２フィルタ処理部１７８の学習が行われている必要がある。図５を参照して、負例学習データ生成部２２０は、正例学習データ記憶部２００に記憶された正例学習データの各質問文において、主語又は目的語、若しくはその双方を削除することにより自動的に負例の学習データを生成する。生成された負例の学習データは負例学習データ記憶部２２２に格納される。学習データ生成部２２４は、正例学習データ記憶部２００に記憶された正例と、負例学習データ記憶部２２２に記憶された負例とをマージし、第２フィルタ処理部１７８のための学習データを生成する。学習データは学習データ記憶部２２６に記憶される。学習処理部２２８が、この学習データを用いて第２フィルタ処理部１７８の学習を行う。

以下、なぜ型質問応答システム６０のランキング部１２２の訓練が以下の繰返しにより行われる。

図２を参照して、最初に、繰返制御部１１０の制御により、学習処理部６６が、学習データ記憶部６４に記憶された初期の学習データを用いてランキング部１２２の学習を行う。次に繰返制御部１１０は、質問発行部１００を制御して、質問・予想回答記憶部７６に格納された質問ｑを順次選択し、回答候補検索部１２０に与える。回答候補検索部１２０は、与えられた各質問にふさわしいと思われる回答候補であるパッセージを、ウェブコーパス記憶部６８からｔｆ−ｉｄｆによりランキングして、ｔｆ−ｉｄｆが上位の所定個数（本実施の形態では１２００個）だけ抽出し、ランキング部１２２に与える。ランキング部１２２は、各パッセージから所定の特徴量を抽出し、学習処理部６６による学習が行われた分類器によりスコアリングし、上位２０個を選択しスコアを付して回答候補フィルタ部１０２に送信する。

回答候補フィルタ部１０２は、回答候補を受けると、質問・回答候補のペア（ｑ，ｐ_ｊ）（ｊ＝１〜２０）からスコアｓが最上位の回答候補ｐ´を含むペア（ｑ´、ｐ´）を選択し（図７，ステップ３００），そのスコアがしきい値αより小さくなければ（ステップ３０２でＮＯ）このペアは破棄して次の質問に対する処理に移る。スコアがしきい値αより小さければ（ステップ３０２でＹＥＳ）、次に、回答候補ｐ´が質問ｑ´の得られた因果関係表現を含むか否かを判定する（ステップ３０４）。判定が肯定なら（ステップ３０４でＹＥＳ）、この質問に対する処理を終了し、次の質問の処理に移る。判定が否定（ステップ３０４でＮＯ）ならステップ３０６で、ペア（ｑ´、ｐ´）が現在の学習データ中にあるか否かを判定する。判定が肯定（ステップ３０６でＹＥＳ）ならこの質問に対する処理を終了して次の質問に対する処理に移る。判定が否定（ステップ３０６でＮＯ）なら、ステップ３０８で回答候補ｐ´と予想回答ｅとの間の重複語彙量Ｗ１を、回答候補ｐ´と質問ｑ´との間の重複語彙量Ｗ２を、式（１）によりそれぞれ算出する。

続いて、ステップ３１０で、重複語彙量Ｗ１及びＷ２がいずれも所定のしきい値ａより大きいか否かを判定する。判定が肯定なら、ペア（ｑ´、ｐ´）に正例を示すラベルを付して追加学習データとして出力する。判定が否定なら、制御はステップ３１１に進む。ステップ３１１では、重複語彙量Ｗ１及びＷ２がいずれも所定のしきい値ｂ（ｂ＜ａ）か否かを判定する。判定が肯定ならペア（ｑ´、ｐ´）に負例を示すラベルを付して追加学習データとして出力する。判定が否定なら何もせずこの処理を終了する。

こうして、図２の質問・予想回答記憶部７６に記憶されていた質問・予想回答についての処理が終了すると、学習データ選択部１０８には、訓練装置６２により選択された新たな学習データが正例・負例のラベルとともに記憶されている。学習データ選択部１０８は、これらの新たな学習データのうち、スコアが上位のＫ個を選択して学習データ記憶部６４に追加する。

繰返制御部１１０は、繰返し変数ｉに１を加え（図６のステップ２７６）、終了条件が充足されているか否かを判定する。終了条件が充足されていなければ、再度、学習データ記憶部６４に記憶された更新後の学習データを用いて、繰返制御部１１０の制御により学習処理部６６がランキング部１２２の学習を実行する。これにより、ランキング部１２２の分類器は、因果関係表現記憶部７２に記憶された因果関係表現を用いて得られた学習データによる学習で強化されたことになる。

繰返しの終了条件が充足することにより、以上の繰返しが終了し、因果関係表現記憶部７２に記憶された因果関係を用いて得た学習データで強化されたランキング部１２２が得られ、その結果、なぜ型質問応答システム６０による応答の精度が高くなる。

［実験］
上記実施の形態の効果を確認するために、８５０個の日本語のなぜ型質問と、これら質問に対して６億の日本語ウェブページから抽出したトップ２０の回答候補パッセージとからなる実験セットを準備した。この実験セットはＭｕｒａｔａら（Masaki Murata, Sachiyo Tsukawaki, Toshiyuki Kanamaru, Qing Ma, and Hitoshi Isahara. 2007. A system for answering non-factoid Japanese questions by using passage retrieval weighted based on type of answer. In Proceedings of NTCIR-6.）により提案された質問応答システムにより得たものである。これらの各々について、正しい質問−回答ペアかどうかを人手で確認した。実験では、この実験セットを、学習セット、開発セット、及びテストデータセットに分割した。学習セットは１５，０００個の質問−回答ペアからなる。残りの２，０００個の実験データは、１００個の質問と、それらに対する回答（各２０個）からなり、開発セットとテストセットとに二等分した。

上記した学習データを初期学習データとして使用してランキング部１２２の繰返し学習を行った。開発セットは、しきい値α、重複語彙量のしきい値β、さらに、繰返しごとに学習データに追加される新たなデータ数Ｋとを決定するために使用した。α∈｛０．２，０．３，０．４｝、β∈｛０．６，０．７，０．８｝、及びＫ∈｛１５０，３００，４５０｝を満足するα、β及びＫの組合せについて、開発データで実験をし、その結果、α＝０．３，β＝０．７，Ｋ＝１５０の組合せで最も良い結果が得られた。以下に述べる実験ではこのα、β及びＫの値の組合せを用いている。繰返し回数は４０に設定した。これは、開発セットに対する、上記α、β及びＫの組合せによる学習データが、この繰返し回数の辺りで収束したためである。評価はテストセットを用いて行った。

実験では、２０億の文書を記憶したウェブコーパスから自動的に抽出された６億５，６００万の因果関係表現を基礎に、その６０分の１に当たる１，１００万の因果関係表現を選択した。これらから、自己完結型の質問とその予想回答の組合せを選んだ。その数は５６，７７５個であった。これらの質問をなぜ型質問応答システム６０に入力し、各質問について２０個の上位回答候補を受け、これらを用いてラベルなしの質問−回答候補ペア（ラベルなしペア）を生成した。

比較のために、最初に上記した１，１００万の因果関係表現からランダムに１０万個の因果関係表現を抽出した。これら全てから質問を生成して、ラベルなしペアを全て生成し使用した。

これら２つのタイプをＵ_ＳＣ（自己完結型の質問のみから生成したラベルなしペア）及びＵ_Ａｌｌ（自己完結型以外も含む質問から生成したラベルなしペア）と呼んで互いに区別する。｜Ｕ_ＳＣ｜＝５１４，６７４、｜Ｕ_Ａｌｌ｜＝１，５４８，９９８、｜Ｕ_ＳＣ∩Ｕ_Ａｌｌ｜＝１７，８４４である。

比較結果を次のテーブルに示す。

ＯＨは初期学習データによる学習を行ったものである。

ＡｔＯｎｃｅは、実施の形態の第１回目の繰返しで得られた全てのラベル付きのデータを学習データに追加したときの性能を表す。この結果と後述のＯｕｒｓ（Ｕ_ＳＣ）とを比較することにより、繰返しの効果が明らかになる。

Ｏｕｒｓ（Ｕ_Ａｌｌ）は、上記実施の形態の変形例で、上に述べたＵ_Ａｌｌをラベルなしペアとして用いたものである。Ｏｕｒｓ（Ｕ_ＳＣ）とを比較することにより、本実施の形態において自己完結型の質問のみを使用することによる効率の良さが分かる。

Ｏｕｒｓ（Ｕ_ＳＣ）は上記実施の形態によるものである。

ＵｐｐｅｒＢｏｕｎｄは、全ての質問に対して、ｎ個の正しい回答がテストセットの中にありさえすれば、トップのｎ個の回答候補の中に必ず正しい回答が得られるシステムである。この結果は、本実験の性能の上限を示すものである。ＵｐｐｅｒＢｏｕｎｄを除く全てのシステムにおいて、分類器の学習を行うために、線形カーネルのＴｉｎｙＳＶＭを用いた。評価は、トップの回答（Ｐ＠１）及びミーン・アベレージ・プレシジョン（ＭＡＰ）を用いて行う。Ｐ＠１は、システムによるトップの回答のうちでどの程度の数の正解が得られるかを示す。ミーン・アベレージ・プレシジョンは、トップ２０の全体の品質を示す。

テーブル１は、その評価の結果を示す。テーブル１によれば、ＡｔＯｎｃｅもＯｕｒｓ（Ｕ_Ａｌｌ）も、ＯＨを上回る結果を示すことはできなかった。本発明の実施の形態に係る結果（Ｏｕｒｓ（Ｕ_ＳＣ））では、Ｐ＠１でもＭＡＰでも安定してＯＨより良い結果を示した。この結果は、上記実施の形態における繰返しの結果が性能向上に重要であること、自己完結型の質問文のみを用いることが性能向上に重要であること、を示している。さらに、Ｏｕｒｓ（Ｕ_ＳＣ）のＰ＠１の結果をＵｐｐｅｒＢｏｕｎｄと比較すると、７５．７％という値を示していることが分かる。これにより、ウェブから少なくとも１つの正しい答えを取り出せる回答検索モジュールがあれば、上記実施の形態によって高い精度でなぜ型質問に対して正しい回答を見つけられると考えられる。

図８に、Ｏｕｒｓ（Ｕ_Ａｌｌ）とＯｕｒｓ（Ｕ_ＳＣ）の、繰返し回数と精度との関係を、繰返し回数＝０から５０の範囲で示す。本願実施の形態にかかるＯｕｒｓ（Ｕ_ＳＣ）では、５０回の繰返し学習の後、Ｐ＠１（グラフ３５０）とＭＡＰ（グラフ３６０）において、精度はそれぞれ５０％と４９．２％に達した。Ｐ＠１の場合、３８回で収束した。Ｏｕｒｓ（Ｕ_Ａｌｌ）（Ｐ＠１はグラフ３６２，ＭＡＰはグラフ３６４で示す。）は、最初の段階の何回かの繰返しではＯｕｒｓ（Ｕ_ＳＣ）より高い性能を示したが、繰返しが多くなるにつれ、相対的には性能は低くなった。おそらく、自己完結型の質問以外の質問がノイズとして性能に悪影響を及ぼしたものと思われる。

さらに、上記本発明の実施の形態に係る装置で学習した質問応答システム（Ｏｕｒｓ（Ｕ_ＳＣ））と、初期学習データのみを用いて学習した質問応答システム（ＯＨ）との性能比較を行った。学習の対象は、いずれの場合も質問応答システムのランキング部１２２の分類器である。実験では、開発セットの１００個の質問の各々に対してトップ５の回答パッセージを得るようにした。３人の評価者がこれら質問−回答のペアをチェックし、多数決によりその正誤を判定した。評価はＰ＠１，Ｐ＠３，及びＰ＠５で行った。ここでＰ＠Ｎとは、トップＮ個の回答候補の中に正しい回答がある率を指す。テーブル２にその結果を示す。

テーブル２の結果から、本発明の実施の形態によれば、Ｐ＠１，Ｐ＠３，及びＰ＠５のいずれでもＯＨにより得られたものよりもよい結果を示すことが分かる。

［実施の形態の効果］
以上のように本実施の形態によれば、ウェブコーパス記憶部６８に記憶された大量の文書から多数の因果関係表現を抽出する。この因果関係表現から、多数の質問ｑと予想回答ｅとのペアを選ぶ。選んだペアのうちの質問ｑをなぜ型質問応答システム６０に与えて、なぜ型質問応答システム６０から質問に対する回答候補ｐを複数個受ける（ｐ_１〜ｐ_２０）。各回答候補ｐ_ｊには、本システムの訓練対象であるランキング部１２２の分類器によるスコアｓが付されている。スコアｓが最も高い回答候補と質問とのペア（ｑ´、ｐ´）を選択し、そのペアが以下の条件を満たすときのみ、その回答候補を採用する。

（１）回答候補ｐ´のスコアｓがしきい値α（＞０）未満である。

（２）その回答候補ｐ´が、質問ｑ´の得られた因果関係表現を含まない。

（３）ペア（ｑ´，ｐ´）が現在の学習データ中にない。

こうした条件を充足するペア（ｑ´、ｐ´）のうち、重複語彙量のスコアが上位のＫ個のみを学習データに追加する。このとき、質問ｑ´に対する予想回答ｅ´と回答候補ｐ´との重複語彙量に基づいて、そのペアが正例か否かを判定し、その結果に応じて、学習データに正例又は負例を示すフラグを付す。したがって、学習データには、もとのランキング部１２２による判定の信頼度が低かったデータが重点的に追加される。こうした学習を、得られた因果関係表現の全てについて、所定回数繰返すことにより、信頼度が低かった部分に関する学習データを拡充できる。しかも、質問応答システムの分類器の初期学習データは人手で準備する必要があるが、追加すべき学習データを人手で準備する必要がなく、低いコストで大量の学習データが効率よく作成できる。その結果、この学習データにより学習されたランキング部１２２の分類器の精度を、人手をできるだけ介さずに高くできる。

なお、上記した実施の形態では、質問・予想回答記憶部７６にはウェブコーパス記憶部６８に記憶された大量の文書から抽出した因果関係から自動的に作成した質問と予想回答とのペアが記憶されている。しかし、本発明はそのような実施の形態には限定されない。質問・予想回答記憶部７６に記憶する質問と予想回答のペアのソースはどのようなものでもよい。また、自動的に生成したものだけでなく、人手により作成した質問と予想回答を自動的に収集したものとともに質問・予想回答記憶部７６に記憶するようにしてもよい。

また上記実施の形態では、回答候補検索部１２０による繰返しは、繰返し数が上限数に達したときに終了するようにしている。しかし本発明はそのような実施の形態には限定されない。例えば、学習データ記憶部６４に追加される新たな学習データがなくなった時点で繰返しを終了してもよい。

さらに、上記実施の形態では、図７のステップ３００では、スコアが最大のペアを１つだけ選択している。しかし本発明はそのような実施の形態には限定されない。スコアが最大のスコアを２個以上の所定個数選択するようにしてもよい。この場合には、ステップ３０２からステップ３１４の処理を各ペアについて別々に行えば良い。

［コンピュータによる実現］
上記実施の形態に係る訓練装置６２は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図９はコンピュータシステム９３０の内部構成を示す。

図９を参照して、このコンピュータシステム９３０は、メモリポート９５２及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ９５０を有するコンピュータ９４０と、キーボード９４６と、マウス９４８と、モニタ９４２とを含む。

コンピュータ９４０は、メモリポート９５２及びＤＶＤドライブ９５０に加えて、ＣＰＵ（中央処理装置）９５６と、ＣＰＵ９５６、メモリポート９５２及びＤＶＤドライブ９５０に接続されたバス９６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）９５８と、バス９６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）９６０とを含む。コンピュータシステム９３０はさらに、他端末（例えば図２に示すなぜ型質問応答システム６０、学習データ記憶部６４及び６６を実現するコンピュータ、質問・予想回答記憶部７６を実現するコンピュータ等）との通信を可能とするネットワークへの接続を提供するネットワークインターフェイス（Ｉ／Ｆ）９４４を含む。ネットワークI／Ｆ９４４は、インターネット９７０に接続されてもよい。

コンピュータシステム９３０を上記した実施の形態の訓練装置６２を構成する各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ９５０又はメモリポート９５２に装着されるＤＶＤ９６２又はリムーバブルメモリ９６４に記憶され、さらにハードディスク９５４に転送される。又は、プログラムはネットワークＩ／Ｆ９４４を通じてコンピュータ９４０に送信されハードディスク９５４に記憶されてもよい。プログラムは実行の際にＲＡＭ９６０にロードされる。ＤＶＤ９６２から、リムーバブルメモリ９６４から、又はネットワークＩ／Ｆ９４４を介して、直接にＲＡＭ９６０にプログラムをロードしてもよい。

このプログラムは、コンピュータ９４０を、上記実施の形態に係る訓練装置６２の各機能部として機能させるための複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ９４０上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又は、コンピュータ９４０にインストールされる各種プログラミングツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態に係る訓練装置６２を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット内の適切なプログラムツールを呼出すことにより、上記したシステムとしての機能を実現する命令のみを含んでいればよい。コンピュータシステム９３０の動作は周知である。したがってここでは繰返さない。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

５０ 訓練システム
６０ なぜ型質問応答システム
６２ 訓練装置
６４ 学習データ記憶部
６６ 学習処理部
６８ ウェブコーパス記憶部
７０ 因果関係表現抽出部
７２ 因果関係表現記憶部
７４ 質問・予想回答生成・抽出部
７６ 質問・予想回答記憶部
１００ 質問発行部
１０２ 回答候補フィルタ部
１０４ 回答候補判定部
１０６ 学習データ生成・ラベリング部
１０８ 学習データ選択部
１１０ 繰返制御部
１２０ 回答候補検索部
１２２ ランキング部

Claims (6)

1. 複数の因果関係表現を記憶する因果関係表現記憶手段、
   前記因果関係表現記憶手段に記憶された、同じ因果関係表現から抽出された質問とその質問に対する予想回答との組を複数記憶した質問及び予想回答記憶手段、及び、質問を受けると、当該質問に対する複数の回答候補をスコア付で出力する質問応答システムとともに使用され、当該質問応答システム内の回答候補のスコア付けを行う分類器の性能を向上させるための訓練装置であって、
   前記訓練装置はさらに、前記質問応答システムの前記分類器のための学習データを記憶するための学習データ記憶手段を備えた学習装置とともに使用され、
   前記訓練装置は、
   前記学習データ記憶手段に記憶された学習データを用いて前記分類器の学習を行うように前記学習装置を制御する学習装置制御手段と、
   前記質問及び予想回答記憶手段に記憶された質問を発行して前記質問応答システムに与える質問発行手段と、
   前記質問発行手段が発行した質問に対して前記質問応答システムからスコアとともに出力される複数の回答候補の各々と、当該質問とのペアから、前記質問応答システムの前記分類器の学習データを生成し前記学習データ記憶手段に追加する学習データ追加手段と、
   前記学習装置制御手段による前記学習装置の制御と、前記質問発行手段による質問の発行と、前記学習データ追加手段による前記学習データの追加とを、所定の終了条件が成立するまで、複数の回数だけ繰返して実行するように前記学習装置制御手段、前記質問発行手段、及び前記学習データ追加手段を制御する繰返制御手段とを含む、質問応答システムの訓練装置。
2. 前記学習データ追加手段は、
   前記質問発行手段が発行した質問に対して前記質問応答システムからスコアとともに出力される複数の回答候補のうち、前記スコアの絶対値が正の第１のしきい値より小さく、かつ当該スコアが上位の所定個数の回答候補を選択する回答候補選択手段と、
   前記回答候補選択手段により選択された前記所定個数の回答候補の各々と、前記質問に対応する前記予想回答との間の一致度を算出し、当該一致度が第２のしきい値より大きいか否かにしたがって、当該回答候補と、当該質問とに、正例又は負例のラベルを付して学習データ候補を生成する学習データ候補生成手段と、
   前記学習データ候補生成手段により生成された学習データ候補を新たな学習データとして前記学習データ記憶手段に追加する学習データ追加手段とを含む、請求項１に記載の質問応答システムの訓練装置。
3. 前記学習データ追加手段はさらに、前記回答候補選択手段の出力と前記学習データ候補生成手段の入力との間に設けられ、前記回答候補選択手段により選択された回答候補のうち、当該回答候補の元になった質問が得られた因果関係表現から得られたものを破棄する、第１の回答候補破棄手段を含む、請求項２に記載の質問応答システムの訓練装置。
4. 前記学習データ追加手段はさらに、前記回答候補選択手段の出力と前記学習データ候補生成手段の入力との間に設けられ、前記回答候補選択手段により選択された回答候補と前記質問とのペアのうち、前記学習データ記憶手段に記憶されたものと一致するものを削除する第２の回答候補破棄手段を含む、請求項２又は請求項３に記載の質問応答システムの訓練装置。
5. 前記質問応答システムは、複数の文からなるパッセージであって、因果関係表現の抽出を行う際に手がかりとなるフレーズを少なくとも１つ含むパッセージの集合から回答候補を抽出する、請求項１〜４のいずれかに記載の質問応答システムの訓練装置。
   
6. 複数の因果関係表現を記憶する因果関係表現記憶手段、
   前記因果関係表現記憶手段に記憶された、同じ因果関係表現から抽出された質問とその質問に対する予想回答との組を複数記憶した質問及び予想回答記憶手段、及び、質問を受けると、当該質問に対する複数の回答候補をスコア付で出力する質問応答システムとともに使用され、当該質問応答システム内の、機械学習による分類器の性能を向上させるための、質問応答システムの訓練装置としてコンピュータを機能させるコンピュータプログラムであって、
   前記訓練装置はさらに、前記質問応答システムの前記分類器の学習を行うための学習データ記憶手段を備えた学習装置とともに使用され、
   前記組を形成する質問と予想回答とは、同じ因果関係表現から生成されたものであり、
   前記コンピュータプログラムは、請求項１から請求項５のいずれかに記載の訓練装置を構成する各手段としてコンピュータを機能させる、コンピュータプログラム。

Images