JP7032623B2 - 推論装置、推論方法及びプログラム - Google Patents

Description

本発明は、推論装置、推論方法及びプログラムに関する。

大規模視覚認識チャレンジ（スタンフォード大学が運営するImageNetデータベース）という画像認識コンテストにおいて、深層学習を用いた機械学習システムが圧勝したことを契機として、機械学習システムの研究が盛んに行われている。近年では、機械学習システムは非常に高性能化しており、例えば、セキュリティや自動運転車等へのアプリケーションが検討されている。

しかし、機械学習システムは、認識結果に至った過程がブラックボックス化されているという課題が指摘されている。この課題を解決すべくいくつかの研究がスタートしている（非特許文献１～４）。

David Gunning、「Explainable Artificial Intelligence (XAI)」、［online］ DARPA、［平成２９年１０月１２日検索］、インターネット（URL:https://www.darpa.mil/program/explainable-artificial-intelligence） 「Bosch、『説明可能なディープラーニング』を目指す」、［online］ 日経テクノロジーonline、2017/6/9 ［平成２９年１０月１２日検索］、インターネット（URL:http://techon.nikkeibp.co.jp/atcl/news/16/060807893/?rt=nocnt） Victor Escorcia1他、「On the Relationship between Visual Attributes and Convolutional Networks」、CVPR2015 1256-1264頁 Lisa Anne Hendricks他、「Generating Visual Explanations」、［online］、［平成２９年１０月１２日検索］、インターネット（URL: https://arxiv.org/pdf/1603.08507.pdf）

本発明は、上記背景に鑑み、機械学習や深層学習を用いた推論の過程を説明する推論装置を提供することを目的とする。

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。

本発明の推論装置（１）は、機械学習で生成した推論モデルを用いた推論によって、入力された情報が所定のクラスのいずれに属するかを推論する推論装置（１）であって、情報を入力する入力部（１０）と、前記推論モデルを用いた推論過程において、頻出する特徴量を頻出特徴量として、クラスごとに記憶した頻出特徴量データベース（１６）と、入力された情報がどのクラスに属するかを、前記推論モデルを用いて推論する推論部（１１）と、前記推論部（１１）における推論過程で現れた特徴量を抽出し、前記特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出する代表特徴量抽出部（１３）と、前記頻出特徴量データベース（１６）から、推論されたクラスに対応する頻出特徴量を読み出し、前記頻出特徴量と前記代表特徴量とに基づいて、１または複数の根拠特徴量を抽出する根拠特徴量抽出部（１４）と、推論されたクラスと共に前記根拠特徴量を出力する出力部（１２）とを備える。ここで、根拠特徴量とは、入力された情報が所定のクラスに属すると判定された根拠となったと考えられる特徴量である。本発明の構成により、推論を行う過程で現れた代表特徴量と、推論されたクラスの情報が有する頻出特徴量とに基づいて、推論結果を導き出した根拠となる根拠特徴量を求めることができる。

本発明の推論装置（１）は、前記特徴量を表す概念のデータを記憶したアノテーションデータベース（１７）と、前記アノテーションデータベース（１７）から、前記根拠特徴量に対応する概念のデータを読み出して説明情報を生成する説明情報生成部（１５）とを備え、前記出力部（１２）は、推論されたクラスと共に前記説明情報を出力してもよい。根拠特徴量に対応する概念のデータに基づいて生成した説明情報を、推論結果であるクラスと共に表示することにより、ユーザが、推論結果に至った根拠を容易に把握できる。

本発明の推論装置（１）において、前記入力部（１０）は情報として画像の入力を受け付け、前記根拠特徴量抽出部（１４）は、前記根拠特徴量と共に前記根拠特徴量に対応する前記画像中の受容野のデータを抽出し、前記出力部（１２）は、前記根拠特徴量に対応する受容野を前記画像中で特定する表示を行ってもよい。このように、根拠特徴量に対応する受容野を画像中で特定する表示を行うことにより、根拠特徴量が画像のどの部分についての特徴を述べたものかを容易に理解でき、推論結果に至った根拠を具体的に把握できる。

本発明の推論装置（１）において、前記根拠特徴量抽出部（１４）は、前記受容野のデータを用いて、異なる領域の受容野に関する根拠特徴量を求めてもよい。この構成により、異なる領域の受容野についての根拠特徴量が示されるので、画像を広く捉えて推論がなされたことをユーザに理解させることができる。

本発明の推論装置（１）において、前記出力部（１２）は、前記根拠特徴量に対応する前記代表特徴量が強い順に、前記根拠特徴量を並べて表示してもよい。この構成により、推論の根拠として、画像にマッチした特徴量が上位に表示されやすくなる。

本発明の推論装置（１）において、前記出力部（１２）は、前記根拠特徴量に対応する前記頻出特徴量と前記代表特徴量の強さに基づいて、前記根拠特徴量を並べて表示してもよい。この構成により、推論されたクラスの画像に頻出する特徴量も用いて根拠特徴量を並べるので、そのクラスによく見られる特徴が上位に表示される。

本発明の推論装置（１）の前記アノテーションデータベース（１７）には、前記概念のデータに関連付けて属性のデータが記憶されており、前記根拠特徴量抽出部（１４）は、前記属性のデータを用いて、異なる属性に関する根拠特徴量を求めてもよい。この構成により、異なる属性についての根拠特徴量が示されるので、情報を多面的に捉えて推論がなされたことをユーザに理解させることができる。

本発明の推論装置（１）において、前記出力部（１２）は、根拠特徴量の個数が所定の閾値以下の場合に、その旨を出力してもよい。根拠特徴量の個数が所定の閾値以下の場合には、推論結果が誤っているおそれがあるが、本発明の構成により、推論結果について注意を促すことができる。

本発明の推論装置（２）は、前記根拠特徴量抽出部（１４）にて算出した前記根拠特徴量のデータをクラスごとに記憶する根拠特徴量記憶部（１８）と、前記根拠特徴量記憶部（１８）に記憶された根拠特徴量をクラスタリングするクラスタリング部（１９）とを備え、前記出力部（１２）は、前記クラスタリング部（１９）にて根拠特徴量を分類できた場合に、その旨を出力してもよい。この構成により、新たなクラスが存在する可能性についての気付きを与えることができる。

本発明の推論装置（１）は、機械学習で生成した推論モデルを用いた推論によって、入力された画像が所定のクラスのいずれに属するかを推論する推論装置（１）であって、画像を入力する入力部（１０）と、入力された画像がどのクラスに属するかを、前記推論モデルを用いて推論する推論部（１１）と、推論されたクラスと共に、前記画像が前記クラスに属すると判定した根拠となった特徴量を出力する出力部（１２）とを備える。ここで、前記出力部（１２）は、特徴量に対応する概念を表す文言を出力してもよい。この構成により、推論結果に至った根拠を容易に把握することができる。

本発明の推論装置（１）において、前記出力部（１２）は、前記特徴量と共に、前記特徴量に対応する受容野を前記画像中で特定する表示を行ってもよい。この構成により、画像のどの部分についての特徴を述べたものかを容易に理解でき、推論結果に至った根拠を具体的に把握できる。

本発明の推論装置（１）において、前記出力部（１２）は、異なる領域の受容野についての根拠特徴量を出力してもよい。この構成により、画像を広く捉えて推論がなされたことをユーザに理解させることができる。

本発明の推論方法は、推論装置（１）が、機械学習で生成した推論モデルを用いた推論によって、入力された情報が所定のクラスのいずれかに属するかを推論する推論方法であって、前記推論装置（１）が、入力された情報がどのクラスに属するかを、前記推論モデルを用いて推論するステップ（Ｓ１１）と、前記推論装置（１）が、推論過程で現れた特徴量を抽出し、前記特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出するステップ（Ｓ１２）と、前記推論装置（１）が、前記推論モデルを用いた推論過程において、頻出する特徴量を頻出特徴量として、クラスごとに記憶した頻出特徴量データベース（１６）から、推論されたクラスに対応する頻出特徴量を読み出すステップ（Ｓ１３）と、前記推論装置（１）が、前記頻出特徴量と前記代表特徴量とに基づいて、１または複数の根拠特徴量を抽出するステップ（Ｓ１４）と、前記推論装置（１）が、推論されたクラスと共に前記根拠特徴量を出力するステップ（Ｓ１６）とを備える。

本発明のプログラムは、機械学習で生成した推論モデルを用いた推論によって、入力された情報が所定のクラスのいずれかに属するかを推論するためのプログラムであって、コンピュータに、入力された情報がどのクラスに属するかを、前記推論モデルを用いて推論するステップと、推論過程で現れた特徴量を抽出し、前記特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出するステップと、前記推論モデルを用いた推論過程において、頻出する頻出特徴量をクラスごとに記憶した頻出特徴量データベースから、推論されたクラスに対応する頻出特徴量を読み出すステップと、前記頻出特徴量と前記代表特徴量とに基づいて、１または複数の根拠特徴量を抽出するステップと、推論されたクラスと共に前記根拠特徴量を出力するステップとを実行させる。

本発明によれば、推論結果と共に、推論の根拠となった特徴量を出力することができる。

第１の実施の形態の画像認識装置の構成を示す図である。 代表特徴量抽出部と根拠特徴量抽出部による処理の内容を模式的に示す図である。 画像認識結果が「雄鶏」の場合の根拠特徴量の例を示す図である。 アノテーションＤＢに記憶されたデータの例を示す図である。 認識結果の表示例を示す図である。 頻出特徴量の求め方を模式的に示す図である。 第１の実施の形態の画像認識装置の動作を示す図である。 第２の実施の形態の画像認識装置の構成を示す図である。

以下、本発明の実施の形態の推論装置について図面を参照しながら説明する。以下に説明する実施の形態では、推論装置として、画像を分類するニューラルネットワークの画像認識装置を取り上げて説明するが、本発明の推論装置は、画像認識に限らず、例えば、ニューラルネットワークを用いた音声認識、天気や渋滞の推定等に幅広く適用可能である。また、実施の形態では、機械学習としてニューラルネットワークを用いる例を取り上げるが、本発明の推論装置は、特徴量の強さが分かる機械学習の方法に適用することが可能である。

（第１の実施の形態）
図１は、第１の実施の形態の画像認識装置１の構成を示す図である。画像認識装置１は、入力された画像が、複数のクラスのうちのいずれのクラスに分類されるかを推論する装置である。画像認識装置１は、処理対象の画像を入力する入力部１０と、画像のクラスを推論する推論部１１と、推論結果を表示して出力する出力部１２とを有している。推論部１１は、複数の畳み込みニューラルネットワークの層を有する、いわゆるディープラーニングのニューラルネットワークモデルを用いる。一例としては、Alex Krizhevsky他「ＡｌｅｘＮｅｔ」と称される公知のニューラルネットワークシステムを用いてもよい。ここまでに説明した画像認識装置１の構成は、従来のニューラルネットワークによる推論装置の構成と同じである。

第１の実施の形態の画像認識装置１は、代表特徴量抽出部１３と、根拠特徴量抽出部１４と、説明情報生成部１５とを備えている。代表特徴量抽出部１３は、推論部１１における推論過程で現れた特徴量を取得し、特徴量から代表特徴量を抽出する機能を有する。好ましい態様としては、ディープラーニングの出力層に最も近い層に現れた特徴量を取得する。ディープラーニングのモデルにおいては、出力層に近くなるにしたがって特徴量の抽象度が高くなるので、出力層に最も近い層に現れた特徴量を取得することで、ユーザが容易に理解できる推論結果に至った根拠を示す理由を適切に表せると考えられるからである。ここでは、出力層に最も近い層に現れた特徴量を取得する例を挙げたが、変形例として、別の層の特徴量を取得してもよい。

根拠特徴量抽出部１４は、代表特徴量抽出部１３にて抽出した代表特徴量と、頻出特徴量データベース（以下、「頻出特徴量ＤＢ」という）１６に記憶されたデータとに基づいて、推論部１１が推論結果を導くに至った根拠特徴量を抽出する機能を有する。代表特徴量抽出部１３と根拠特徴量抽出部１４についてさらに詳しく説明する。

図２は、代表特徴量抽出部１３と根拠特徴量抽出部１４による処理の内容を模式的に示す図である。代表特徴量抽出部１３は、推論部１１から抽出したＣＮＮ（畳込みニューラルネットワーク）の特徴マップから発火特徴量を抽出する。発火特徴量は、活性化したニューロンの特徴量である。

代表特徴量抽出部１３は、推論部１１のニューラルネットワークモデルの生成に用いられた多数の画像の平均特徴量のデータを有している。例えば、「犬」「馬」「雄鶏」といったクラスが１０００クラスあり、各クラスに１３００枚の画像が含まれているとすると、１３０万枚の画像がニューラルネットワークモデルの学習に用いられることになる。この場合、平均特徴量のデータとは、全クラスの１３０万枚の画像の平均の特徴量である。

代表特徴量抽出部１３は、発火特徴量と平均特徴量とを比較して、発火特徴量の中でも特に大きな特徴量を持つ特徴量を抽出する。ここで抽出される特徴量を、本明細書では「代表特徴量」という。代表特徴量であると判定するための条件は、例えば、平均特徴量の２倍以上の大きさを有することである。ここでは、代表特徴量として抽出する条件を平均特徴量の２倍以上としているが、代表特徴量を抽出する条件は、平均特徴量の２倍に限られず、３倍や５倍であってもよい。代表特徴量抽出部１３は、抽出した代表特徴量を根拠特徴量抽出部１４に渡す。

なお、代表特徴量抽出部１３は、推論部１１から特徴量のデータを受け取る際に、当該特徴量に対応する受容野のデータを受け取る。受容野のデータとは、本実施の形態のように分析対象が画像の場合には、その特徴量を有する画像中の領域を特定するデータであってもよい。

根拠特徴量抽出部１４は、まず、頻出特徴量ＤＢ１６から、画像の認識結果にかかるクラスの頻出特徴量を読み出す。すなわち、画像認識の結果、入力された画像が、「雄鶏」と判断された場合には、「雄鶏」が持つ頻出特徴量を読み出す。ここで、頻出特徴量とは、そのクラスの画像に頻出する特徴量であり、そのクラスの特性を表す特徴量であるといえる。例えば、「雄鶏」というクラスの頻出特徴量は、「鮮やかな赤」「トゲトゲ」「くちばし」等である。根拠特徴量抽出部１４は、代表特徴量と頻出特徴量とに共通する特徴量を根拠特徴量として抽出する。

図３は、画像認識結果が「雄鶏」の場合の根拠特徴量の例を示す図である。図３において左側の集合は、分析対象の画像、すなわち、入力部１０より入力された画像で観測された代表特徴量を示す。図３において右側の集合は、「雄鶏」というクラスの画像でよく見られる特徴量、すなわち、「雄鶏」の頻出特徴量を示す。根拠特徴量は、２つの集合の重なる部分である。根拠特徴量抽出部１４は、２つの集合の重なり部分の特徴量を根拠特徴量として抽出し、抽出した根拠特徴量を説明情報生成部１５に渡す。このとき、根拠特徴量抽出部１４は、根拠特徴量に対応する受容野のデータを説明情報生成部１５に渡す。

図１に戻って、画像認識装置１の説明を続ける。説明情報生成部１５は、根拠特徴量抽出部１４から根拠特徴量を受け取ると、アノテーションデータベース（以下、「アノテーションＤＢ」という）１７のデータから、根拠特徴量に対応する概念データを読み出して、説明情報を生成する。

図４は、アノテーションＤＢ１７に記憶されたデータの例を示す図である。アノテーションＤＢ１７には、特徴量を特定する識別番号と、その特徴量に対応する概念のデータが関連付けて記憶されている。例えば、特徴量の識別番号「＃１」には「空」という概念データが関連付けられている。また、特徴量の識別番号「＃２」には「突起物」「凹凸」という２つの概念データが関連付けられている。このように１つの特徴量に対して複数の概念データが関連付けられている場合もある。また、逆に、特徴量の「＃４」「＃５」には、いずれも「草原」という概念データが関連付けられている。このように複数の記号が１つの概念に対応している場合もある。

説明情報生成部１５は、根拠特徴量の識別番号に対応する概念データを、アノテーションＤＢ１７から読み出し、読み出した概念データを用いて、推論結果に至った根拠を説明する文を生成する。例えば、識別番号「＃１」「＃４」「＃９」の根拠特徴量から、「空」「草原」「小動物」という概念データを読み出した場合には、「この画像は、〇〇である。なぜならば、『空』と『草原』と『小動物』が含まれているからである。」といった説明文を生成する。例えば、識別番号「＃２」「＃７」のように一つの根拠特徴量に対して、複数の概念データが関連付けられている場合には、複数の概念を、「または」で接続した説明文を生成する。例えば、「この画像は、〇〇である。なぜならば、『突起物』または『凹凸』と、『しましま』または『ギザギザ』が含まれているからである。」という説明文を生成する。なお、ここで示した説明情報の表現方法は一例であり、概念データを表現する方法は、提示される状況や提示される対象者の属性等に応じて、適宜に変更してもよい。また、例えば、概念ごとに箇条書きにして、視認性を高めることも考えられる。説明情報生成部１５は、生成した説明情報と、説明情報に対応する受容野のデータを出力部１２に渡す。

なお、説明情報生成部１５は、代表特徴量と頻出特徴量で共通する特徴量が多数ある場合には、出力部１２に表示する説明情報の個数（例えば３つ）に合わせて、説明情報に用いる根拠特徴量を選択する。本実施の形態では、説明情報生成部１５は、共通する特徴量の中で、代表特徴量の大きい方から所定の個数の根拠特徴量を選択する。

出力部１２は、推論部１１にて推論された画像の認識結果と、説明情報生成部１５にて生成された説明情報とを合わせて画面上に表示する。

図５は、出力部１２にて、画面上に表示された認識結果の例を示す図である。図５に示すように、認識結果の出力画面においては、画面のほぼ中央に大きく認識対象の画像Ｄ１が表示され、その上に認識結果Ｄ２、画像Ｄ１の下に、認識結果に至った根拠となる説明情報Ｄ３が表示されている。

また、認識対象の画像Ｄ１の右側に、３つの画像Ｄ４～Ｄ６が表示されている。これらの画像Ｄ４～Ｄ６は、説明情報に対応する受容野を示す画像であり、マスクがかかっていない部分が受容野である。例えば、一番上の画像Ｄ４は、「タイヤまたは物の端っこ」が含まれているという説明情報に対応し、そのように判断される画像中の領域を示している。３つの画像Ｄ４～Ｄ６は、根拠特徴量の強い順に上から並べることが好ましい。ここでは、根拠特徴量の強さとして、代表特徴量の強さを用いる。このように、画像認識装置１は、認識対象の画像Ｄ１の認識結果Ｄ２を示すのみならず、その認識結果Ｄ２の根拠Ｄ３，Ｄ４～Ｄ６を表示する。

ここで、頻出特徴量ＤＢ１６に記憶する頻出特徴量データの生成の仕方について説明する。図６は、頻出特徴量の求め方を模式的に示す図である。ここでは、「犬」の頻出特徴量を求める例を挙げている。クラスごとの頻出特徴量を求めるときには、推論部１１で用いられるニューラルネットワークの学習に使った画像（上で説明した例では、クラスの情報を有する１３０万枚の画像）を用いる。

「犬」のクラスが付された全画像について、発火特徴量と平均特徴量とを比較し、上述した代表特徴量抽出部１３にて説明した方法と同じ方法で代表特徴量を求める。「犬」のクラスについて計算を行うためには、図６に示すように、画像に付与されたラベルが「犬」の場合に、その特徴量に対して「１」を乗じ、それ以外の場合には「０」を乗じる処理を行なえばよい。以上の処理により、「犬」のクラスの画像のそれぞれについて、特徴量（例えば、２５６個の特徴量）のうち、代表特徴量と判定される特徴量を求めることができる。

次に、特徴量（例えば、２５６個の特徴量）のそれぞれが、「犬」のクラスの全画像のうちの、いくつの画像において代表特徴量として判定されたかをカウントする。このようにして求めたカウント数から、例えば、多い方から５つの特徴量を頻出特徴量として求める。

なお、頻出特徴量を求める際にも、代表特徴量抽出部１３にて説明した方法と同様に代表特徴量を判定しているのは、単に、特徴量の大きさだけを基準として頻出特徴量を求めると、クラスにかかわらず頻出する特徴量を、「犬」のクラスの特徴量と判断してしまう可能性があるためである。

以上、本実施の形態の画像認識装置１の構成について説明したが、上記した画像認識装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した画像認識装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

図７は、第１の実施の形態の画像認識装置１の動作を示すフローチャートである。第１の実施の形態の画像認識装置１は、入力部１０にて認識対象の画像の入力を受け付ける（Ｓ１０）。画像認識装置１は、推論部１１を動作させて推論を行い、画像がどのクラスに属するのかの画像認識を行い（Ｓ１１）、その認識結果を出力部１２に渡す。

画像認識装置１の代表特徴量抽出部１３は、推論部１１より、推論過程において現れた特徴量を取得し、取得した特徴量の中から代表特徴量を抽出する（Ｓ１２）。代表特徴量抽出部１３は、平均特徴量の２倍以上の大きさを有する特徴量を代表特徴量として抽出する。代表特徴量抽出部１３は、抽出した代表特徴量のデータを根拠特徴量抽出部１４に渡す。

次に、画像認識装置１の根拠特徴量抽出部１４は、推論部１１にて推論されたクラスに対応する頻出特徴量を読み出し（Ｓ１３）、頻出特徴量と代表特徴量とで共通する特徴量を根拠特徴量として抽出する（Ｓ１４）。根拠特徴量抽出部１４は、求めた根拠特徴量のデータを説明情報生成部１５に渡す。画像認識装置１の説明情報生成部１５は、根拠特徴量に対応する概念データをアノテーションＤＢ１７から読み出し、説明情報を生成し（Ｓ１５）、生成した説明情報を出力部１２に渡す。出力部１２は、推論部１１から受け取った推論結果と、説明情報生成部１５にて生成された説明情報とを出力する（Ｓ１６）。

以上、第１の実施の形態の画像認識装置１の構成および動作について説明した。第１の実施の形態の画像認識装置１は、実際の推論の過程で現れた特徴量に基づいて生成された説明情報を表示するので、推論過程がブラックボックスであるというニューラルネットワークの課題を解決できる。

また、第１の実施の形態の画像認識装置１は、説明情報に対応する画像の領域を表示するので、説明情報が画像のどの部分のことを説明したものかを把握することができ、推論の根拠を容易に理解できる。

なお、第１の実施の形態の画像認識装置１は、推論結果に至った根拠と考えられる説明情報を出力するが、推論結果が正しいにもかかわらず、説明情報が推論結果とマッチしていない場合には、得られた説明情報をもとにニューラルネットワークの再学習を行うというユースケースも考えられる。推論結果とマッチしない説明情報に類似する状況の画像を用いてニューラルネットワークを学習することにより、これまでになかったタイプの画像についての推論精度を高めることができる。

第１の実施の形態の画像認識装置１の変形例として、説明情報として表示される推論の根拠特徴量を、受容野が異なる領域となるように選択してもよい。すなわち、出力部１２に表示する根拠特徴量を選択する際に、単に、特徴量の大きさで選択するのではなく、同じ受容野について根拠特徴量を選択しないように処理を行う。これにより、画像中の異なる領域についての根拠が表示されることになるので、推論の根拠に対する納得感が高まる。

（第２の実施の形態）
図８は、第２の実施の形態の画像認識装置２の構成を示す図である。第２の実施の形態の画像認識装置２において推論結果に至った説明情報を生成する構成は、第１の実施の形態の画像認識装置１と同じである。第２の実施の形態の画像認識装置２は、根拠特徴量抽出部１４にて求めた根拠特徴量のデータを根拠特徴量記憶部１８に記憶しておき、根拠特徴量の分析を行う点が構成を備えている。

根拠特徴量記憶部１８には、推論によって求められたクラスごとに、根拠特徴量のデータが記憶される。所定のクラス（例えば、「犬」）について、所定数の推論結果のデータが集まったら、クラスタリング部１９は、根拠特徴量のクラスタリングを行う。これにより、根拠特徴量が、複数のクラスタ（例えば２つのクラスタ）に分類された場合には、そのクラスタのデータを出力部１２に渡し、出力部１２がクラスタリングの結果を表示する。

これにより、それまで１つのクラスとして扱っていたクラスが、実は複数のクラスに分類できる可能性があるという気付きが得られる。例えば、それまでは「犬」という１つのクラスで扱っていたものが、「小型犬」「大型犬」の２つのクラスに分類できる可能性を知らせることができる。

以上、本発明の推論装置について、画像認識装置１，２を例として説明したが、本発明の推論装置は、上記した実施の形態に限定されるものではない。

上記した実施の形態では、説明情報生成部１５を備えた画像認識装置１，２を例として説明したが、説明情報生成部１５は必須ではなく、根拠特徴量抽出部１４にて抽出した根拠特徴量の識別番号を出力することとしてもよい。根拠特徴量の識別番号が出力されれば、その識別番号を用いて、後から推論過程を評価することが可能となる。

また、上記した実施の形態の画像認識装置１，２において、説明情報を選択する際に、異なる属性に関する説明情報を選択してもよい。ここで属性とは、例えば、色に関する属性、形状に関する属性、質感に関する属性、動物／無生物等のカテゴリに関する属性等である。同じ属性についての説明情報を並べるより、異なる属性の説明情報を表示する方が、推論の根拠を見たユーザの納得感が高まる。

このように異なる属性の説明情報を出力するための構成としては、例えば、次の構成が考えられる。頻出特徴量ＤＢ１６に、概念データに関連づけて属性のデータを記憶しておく。根拠特徴量抽出部１４は、頻出特徴量と代表特徴量とに共通する根拠特徴量を抽出した後、代表特徴量の大きい順に、説明情報として用いるべき根拠特徴量を選択する際に、既に選択した根拠特徴量と同じ属性を有する根拠特徴量を選択しないこととする。例えば、代表特徴量の１位が「鮮やかな赤」（色に関する属性）、２位が「黒」（色に関する属性）、３位が「ギザギザ」（形状に関する属性）である場合には、２位の「黒」は１位の「鮮やかな赤」と同じ色に関する属性なので説明情報として選択せず、３位の「ギザギザ」を選択する。

また、上記した実施の形態の画像認識装置１，２において、根拠特徴量の個数が所定の閾値以下（例えば２個以下）の場合に、出力部１２によってその旨を出力してもよい。根拠特徴量の個数が少ない場合には、推論結果が誤りであるか、または、推論結果が正しいがその推論過程に頻出特徴量があまり現れていない特殊なケースである等の状況が考えられる。このように根拠特徴量の個数が少ない旨の出力がなされることにより、ユーザは推論結果が本当に正しいのか、注意することができる。なお、所定の閾値は、クラスごとに変動する値であってもよい。クラスによっては、頻出特徴量が少ないこともあり、その場合には根拠特徴量の個数が少なくても正常であるからである。

上記した実施の形態において頻出特徴量ＤＢ１６の生成の仕方について説明した。その中で各画像について、発火特徴量と平均特徴量とを比較して代表特徴量を求め、これらの総和を求める例を挙げたが、先に、「犬」のクラスの全画像の特徴量を加算し、加算した結果と平均特徴量とを比較することとしてもよい。このような処理を行うことにより、頻出特徴量の強さのデータを持つことができる。

このように頻出特徴量の強さのデータを有することにより、上記した実施の形態において、説明情報を並べて表示する際に、頻出特徴量の強さのデータをも用いて、説明情報を並べることができる。例えば、根拠特徴量に対応する代表特徴量の強さと頻出特徴量の強さに基づいて、例えば、両方の特徴量の合計が高い順に、説明情報（根拠特徴量）を並べて表示してもよい。

上記した実施の形態では、機械学習の一例としてニューラルネットワークを取り上げたが、本発明は特徴量の強さが分かる機械学習に適用することができる。例えば、非線形カーネルを用いた非線形ＳＶＭ（Support Vector Machine）やロジスティック回帰を用いた推論においても、推論結果が得られた理由を、その推論過程で出てくる特徴量に基づいて求めることができる。これらの推論では、別の手法で計算された特徴量を入力として用いるので、以下のようにして根拠特徴量を求めることができる。まず、入力データそのものやＨＯＧやＳＩＦＴ等の特徴抽出アルゴリズムによって得られる特徴ベクトルにおいて、頻出する特徴量を頻出特徴量として求めておく。次に、入力された情報についても、上記と同様のアルゴリズムを用いてその特徴量を求め、求めた特徴量のうち所定の条件を満たす特徴量を代表特徴量として用いる。これにより、両者に共通する特徴量を根拠特徴量として求めることができる。

本発明の推論装置の１つのユースケースとして、自動運転車への適用が考えられる。自動運転車が各種のセンサ情報に基づいて運転行動を決定する推論過程から根拠特徴量を求め、根拠特徴量に対応する説明情報を継続的に記録しておく構成を採用することにより、自動運転車が所定の運転行動をとった理由を把握できる。これにより、自動運転車が事故を起こしたときのデバッグに活用することができる。

１、２・・・画像認識装置、１０・・・入力部、１１・・・推論部、
１２・・・出力部、１３・・・代表特徴量抽出部、１４・・・根拠特徴量抽出部、
１５・・・説明情報生成部、１６・・・頻出特徴量ＤＢ、
１７・・・アノテーションＤＢ、１８・・・根拠特徴量記憶部、
１９・・・クラスタリング部

Claims (12)

1. 機械学習で生成した推論モデルを用いた推論によって、入力された情報が所定のクラスのいずれに属するかを推論する推論装置（１）であって、
   情報を入力する入力部（１０）と、
   前記推論モデルを用いた推論過程において、頻出する特徴量を頻出特徴量として、クラスごとに記憶した頻出特徴量データベース（１６）と、
   入力された情報がどのクラスに属するかを、前記推論モデルを用いて推論する推論部（１１）と、
   前記推論部（１１）における推論過程で現れた特徴量を抽出し、前記特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出する代表特徴量抽出部（１３）と、
   前記頻出特徴量データベース（１６）から、推論されたクラスに対応する頻出特徴量を読み出し、前記頻出特徴量と前記代表特徴量とに基づいて１または複数の根拠特徴量を抽出する根拠特徴量抽出部（１４）と、
   推論されたクラスと共に前記根拠特徴量を出力する出力部（１２）と、
   を備える推論装置。
2. 前記特徴量を表す概念のデータを記憶したアノテーションデータベース（１７）と、
   前記アノテーションデータベースから、前記根拠特徴量に対応する概念のデータを読み出して説明情報を生成する説明情報生成部（１５）と、
   を備え、
   前記出力部（１２）は、推論されたクラスと共に前記説明情報を出力する請求項１に記載の推論装置。
3. 前記入力部（１１）は、情報として画像の入力を受け付け、
   前記根拠特徴量抽出部（１４）は、前記根拠特徴量と共に前記根拠特徴量に対応する前記画像中の受容野のデータを抽出し、
   前記出力部（１２）は、前記画像において前記根拠特徴量に対応する受容野を前記画像中で特定する表示を行う請求項１または２に記載の推論装置。
4. 前記根拠特徴量抽出部（１４）は、前記受容野のデータを用いて、異なる領域の受容野に関する根拠特徴量を求める請求項３に記載の推論装置。
5. 前記出力部（１２）は、前記根拠特徴量に対応する前記代表特徴量が強い順に、前記根拠特徴量を並べて表示する請求項１または２に記載の推論装置。
6. 前記出力部（１２）は、前記根拠特徴量に対応する前記頻出特徴量と前記代表特徴量とに基づいて、前記根拠特徴量を並べて表示する請求項１または２に記載の推論装置。
7. 前記アノテーションデータベース（１７）には、前記概念のデータに関連付けて属性のデータが記憶されており、
   前記根拠特徴量抽出部（１４）は、前記属性のデータを用いて、異なる属性に関する根拠特徴量を求める請求項２に記載の推論装置。
8. 前記出力部（１２）は、根拠特徴量の個数が所定の閾値以下の場合に、その旨を出力する請求項１乃至７のいずれかに記載の推論装置。
9. 前記根拠特徴量抽出部（１４）にて算出した前記根拠特徴量のデータをクラスごとに記憶する根拠特徴量記憶部（１８）と、
   前記根拠特徴量記憶部（１８）に記憶された根拠特徴量をクラスタリングするクラスタリング部（１９）と、
   を備え、
   前記出力部（１２）は、前記クラスタリング部（１９）にて根拠特徴量を分類できた場合に、その旨を出力する請求項１乃至８のいずれかに記載の推論装置。
10. 機械学習で生成したニューラルネットワークモデルを用いた推論によって、入力された画像が所定のクラスのいずれに属するかを推論する推論装置（１）であって、
    画像を入力する入力部（１０）と、
    入力された画像がどのクラスに属するかを、前記ニューラルネットワークモデルを用いて推論する推論部（１１）と、
    推論されたクラスと共に、前記画像が前記クラスに属すると判定した根拠となった特徴量に対応する概念を表す文言と、前記特徴量に対応する受容野を前記画像中で特定する表示とを出力する出力部（１２）と、
    を備え、
    前記出力部（１２）は、異なる領域の受容野についての根拠特徴量を出力する推論装置。
11. 推論装置（１）が、機械学習で生成した推論モデルを用いた推論によって、入力された情報が所定のクラスのいずれに属するかを推論する推論方法であって、
    前記推論装置（１）が、入力された情報がどのクラスに属するかを、前記推論モデルを用いて推論するステップ（Ｓ１１）と、
    前記推論装置（１）が、推論過程で現れた特徴量を抽出し、前記特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出するステップ（Ｓ１２）と、
    前記推論装置（１）が、前記推論モデルを用いた推論過程において、頻出する特徴量を頻出特徴量として、クラスごとに記憶した頻出特徴量データベースから、推論されたクラスに対応する頻出特徴量を読み出すステップ（Ｓ１３）と、
    前記推論装置（１）が、前記頻出特徴量と前記代表特徴量とに基づいて、１または複数の根拠特徴量を抽出するステップ（Ｓ１４）と、
    前記推論装置（１）が、推論されたクラスと共に前記根拠特徴量を出力するステップ（Ｓ１６）と、
    を備える推論方法。
12. 機械学習で生成した推論モデルを用いた推論によって、入力された情報が所定のクラスのいずれに属するかを推論するためのプログラムであって、コンピュータに、
    入力された情報がどのクラスに属するかを、前記推論モデルを用いて推論するステップと、
    推論過程で現れた特徴量を抽出し、前記特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出するステップと、
    前記推論モデルを用いた推論過程において、頻出する頻出特徴量をクラスごとに記憶した頻出特徴量データベースから、推論されたクラスに対応する頻出特徴量を読み出すステップと、
    前記頻出特徴量と前記代表特徴量とに基づいて、１または複数の根拠特徴量を抽出するステップと、
    推論されたクラスと共に前記根拠特徴量を出力するステップと、
    を実行させるプログラム。

Images