JP4978860B2 - 行動予測方法及び行動予測装置 - Google Patents

Description

本発明は、脳活動の情報から行動を予測する行動予測方法及び行動予測装置に関する。

近年の生体計測技術の進歩はめざましく、従来では測定が困難で誤差も大きかった脳から発生する微弱電場（脳波）及び微弱磁場（脳磁波）の計測精度が年々向上している。

脳活動を計測する目的としては、脳のどの部位が感覚、運動などの認知に関わるかを知ることが挙げられる。そのため、脳内の活動を高い空間分解能、また場合によっては高い時間分解能で観測することが求められている。非侵襲的に脳活動を計測する計測手段として、神経細胞脳電気活動由来の電気現象を計測するＥＥＧ（electroencephalogram）及びＭＥＧ（magnetoencephalogram）、神経細胞発火後の二次的な現象として起こる脳血流又は代謝の変化を計測するｆＭＲＩ（functional magnetic resonance imaging）、ＮＩＲＳ（Near Infrared Spectroscopy）、ＰＥＴ（positron emission tomography）等が知られている。
国際公開第０３／０５７０３５号パンフレット

しかしながら、前述したＥＥＧ、ＭＥＧ計測は、時間分解能に優れており、神経活動に直接由来する電気現象を非侵襲的に観測することができるという利点を有している。しかしながら、その一方で、ＥＥＧ、ＭＥＧ計測は、計測地点が脳の内部ではなく頭蓋外部に配置したセンサにより計測しており、また、神経細胞の電気活動が物理法則に従って拡散した電場又は磁場を計測しているため、ＥＥＧ、ＭＥＧ計測のみから脳内の電気活動を推定するには空間分解能に関して原理的な制限が存在する。

特に、外部から予期しない刺激が入力された場合、センサ空間における特徴量に対する外乱の影響を予測することは困難であるという問題点を有している。

本発明は斯かる事情に鑑みてなされたものであり、観測データを観測対象者の脳内の複数の電流源における時系列データに写像するフィルタを設定し、設定したフィルタによって写像される時系列データの入力に対して観測対象者が特定の行動を起こす確率を出力する確率モデルを設定し、新たに取得した観測データを前記フィルタにより電流源における時系列データに変換し、変換した時系列データに基づいて特定の行動を起こす確率を算出する構成とすることにより、外部から予期せぬ外乱が入力された場合であっても、行動予測を高精度に実施することができる行動予測方法及び行動予測装置を提供することを目的とする。

第１発明に係る行動予測方法は、観測対象者の脳活動を時系列的に観測し、得られた観測データに基づいて前記観測対象者の行動を予測する行動予測方法において、前記観測データを前記観測対象者の脳内の複数の電流源における時系列データに写像するフィルタを設定するステップと、設定したフィルタによって写像される時系列データの入力に対して前記観測対象者が特定の行動を起こす確率を出力する確率モデルを設定するステップと、新たに取得した観測データを前記フィルタにより前記電流源における時系列データに変換するステップと、変換した時系列データを設定した確率モデルに入力することにより前記確率を算出するステップとを有し、算出した確率に基づいて前記観測対象者の行動を予測することを特徴とする。

第２発明に係る行動予測方法は、予測すべき行動の数だけ前記フィルタを設定し、各フィルタの前記確率への寄与度を算出するステップを更に有することを特徴とする。

第３発明に係る行動予測方法は、前記確率モデルは、学習すべきパラメータを含み、前記観測対象者が前記特定の行動を実行した際に観測される観測データに基づいて前記パラメータを学習するステップを更に有することを特徴とする。

第４発明に係る行動予測方法は、前記パラメータをベイズ推定法を用いて学習するステップを有することを特徴とする。

第５発明に係る行動予測方法は、前記確率モデルは、前記時系列データの入力に応じたスカラー値を出力する判別関数と、該判別関数の出力値に応じて所定値域の値を出力するロジスティック関数とにより記述されることを特徴とする。

第６発明に係る行動予測方法は、前記確率モデルは、スパースロジスティック回帰モデルであることを特徴とする。

第７発明に係る行動予測装置は、観測対象者の脳活動を時系列的に観測し、得られた観測データに基づいて前記観測対象者の行動を予測する行動予測装置において、前記観測データを前記観測対象者の脳内の複数の電流源における時系列データに写像するフィルタを設定する手段と、設定したフィルタによって写像される時系列データの入力に対して前記観測対象者が特定の行動を起こす確率を出力する確率モデルを設定する手段と、新たに取得した観測データを前記フィルタにより前記電流源における時系列データに変換する手段と、変換した時系列データを設定した確率モデルに入力することにより前記確率を算出する手段とを備え、算出した確率に基づいて前記観測対象者の行動を予測するようにしてあることを特徴とする。

第８発明に係る行動予測装置は、予測すべき行動の数だけ前記フィルタを設定し、各フィルタの前記確率への寄与度を算出する手段を更に備えることを特徴とする。

第９発明に係る行動予測装置は、前記確率モデルは、学習すべきパラメータを含み、前記観測対象者が前記特定の行動を実行した際に観測される観測データに基づいて前記パラメータを学習する手段を更に備えることを特徴とする。

第１０発明に係る行動予測装置は、前記パラメータをベイズ推定法を用いて学習するようにしてあることを特徴とする。

第１１発明に係る行動予測装置は、前記確率モデルは、前記時系列データの入力に応じたスカラー値を出力する判別関数と、該判別関数の出力値に応じて所定値域の値を出力するロジスティック関数とにより記述されることを特徴とする。

第１２発明に係る行動予測装置は、前記確率モデルは、スパースロジスティック回帰モデルであることを特徴とする。

第１発明及び第７発明にあっては、観測データを観測対象者の脳内の複数の電流源における時系列データに写像するフィルタを設定し、設定したフィルタによって写像される時系列データの入力に対して観測対象者が特定の行動を起こす確率を出力する確率モデルを設定し、新たに取得した観測データを前記フィルタにより電流源における時系列データに変換し、変換した時系列データに基づいて特定の行動を起こす確率を算出するようにしているため、ＥＥＧやＭＥＧなどのセンサ空間における特徴量を利用した従来の予測手法と異なり、脳内電流源を推定した上で行動予測する本願手法では、外乱などのセンサノイズの影響が最小限に抑えられる。

第２発明及び第８発明にあっては、予測すべき行動の数だけフィルタを設定し、各フィルタの確率への寄与度を算出するようにしているため、観測データ自体がある種のカテゴリに分けられる場合に当該モデルを使用することができる。

第３発明及び第９発明にあっては、設定する確率モデルは、学習すべきパラメータを含み、観測対象者が特定の行動を実行した際に観測される観測データに基づいてパラメータを学習するようにしているため、事前学習によって得られるパラメータを用いて観測対象者が実行する行動の予測が可能となる。

第４発明及び第１０発明にあっては、パラメータをベイズ推定法を用いて学習する。パラメータの次元が高次である場合にはモンテカルロ法などの数値解析法は実用的ではないため、本発明では変分ベイズ推定法が用いられる。

第５発明及び第１１発明にあっては、確率モデルを時系列データの入力に応じたスカラー値を出力する判別関数と判別関数の出力値に応じて所定値域の値を出力するロジスティック関数とにより記述する。すなわち、本発明で用いる確率モデルは、複数のカテゴリに分類できるデータの観測過程をモデル化したものであり、このような回帰モデルを用いることにより、観測データが入力された場合、その観測データが複数のカテゴリのうち何れに属するかを判別することができる。

第６発明及び第１２発明にあっては、設定する確率モデルとしてスパースロジスティック回帰モデルを用いるため、確率モデルの解がスパースネスになるという性質が利用され、使用するデータの次元数が大幅に削減される。

第１発明及び第７発明による場合は、観測データを観測対象者の脳内の複数の電流源における時系列データに写像するフィルタを設定し、設定したフィルタによって写像される時系列データの入力に対して観測対象者が特定の行動を起こす確率を出力する確率モデルを設定し、新たに取得した観測データを前記フィルタにより電流源における時系列データに変換し、変換した時系列データに基づいて特定の行動を起こす確率を算出するようにしている。したがって、ＥＥＧやＭＥＧなどのセンサ空間における特徴量を利用した従来の予測手法と異なり、脳内電流源を推定した上で行動予測する本願手法では、外乱などのセンサノイズの影響を最小限に抑えることができ、行動予測を高精度に行うことができる。

第２発明及び第８発明による場合は、予測すべき行動の数だけフィルタを設定し、各フィルタの確率への寄与度を算出するようにしている。したがって、観測データ自体がある種のカテゴリに分けられる場合に当該モデルを使用することができる。

第３発明及び第９発明による場合は、設定する確率モデルは、学習すべきパラメータを含み、観測対象者が特定の行動を実行した際に観測される観測データに基づいてパラメータを学習するようにしている。したがって、事前学習によって得られるパラメータを用いて観測対象者が実行する行動を予測することができる。

第４発明及び第１０発明による場合は、パラメータをベイズ推定法を用いて学習する。パラメータの次元が高次である場合にはモンテカルロ法などの数値解析法は実用的ではないが、本発明では変分ベイズ推定法を用いて確率モデルに含まれるパラメータを求めることができる。

第５発明及び第１１発明による場合は、確率モデルを時系列データの入力に応じたスカラー値を出力する判別関数と判別関数の出力値に応じて所定値域の値を出力するロジスティック関数とにより記述する。すなわち、本発明で用いる確率モデルは、複数のカテゴリに分類できるデータの観測過程をモデル化したものであり、このような回帰モデルを用いることにより、観測データが入力された場合、その観測データが複数のカテゴリのうち何れに属するかを判別することができる。

第６発明及び第１２発明による場合は、設定する確率モデルとしてスパースロジスティック回帰モデルを用いている。したがって、確率モデルの解がスパースネスになるという性質が利用され、使用するデータの次元数を大幅に削減することができる。その結果、推定精度が劣化せずに済み、高精度に行動予測を行うことができる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は脳活動を観測する観測手段としてのブレインキャップを示す模式図である。ブレインキャップ１０は、人間の頭部を覆う帽子状のホルダ１０Ａに、第１センサ１１及び第２センサ１２を複数個（例えば、数十個〜数百個）ずつ設けた構成をなしている。これらの第１センサ１１及び第２センサ１２は等ピッチ（例えば、数ミリメートル間隔）で配置されている。

第１センサ１１は、例えば、脳活動の際に生じる電気活動を非侵襲的に計測するための脳波計（ＥＥＧ）センサである。ブレインキャップ１０に配置された第１センサ１１は、脳波計（ＥＥＧ）を構成し、各センサ１１，１１，…が設置された位置にて脳活動に伴う脳磁場の経時的変化を計測して出力する。第１センサ１１は時間分解能に優れており、ミリ秒単位での計測が可能である。

第２センサ１２は、例えば、ＮＩＲＳの近赤外センサであって、比較的短い波長を持つ赤外光を出射する発光素子とその赤外光の反射光を受ける受光素子とが一組として構成されており、発光素子からの出射光の脳内での吸収量に基づいて脳血流の状態を非侵襲的に計測する。各センサ１２，１２，…は、自身が設置された各部位における脳血流を計測して出力する。第２センサ１２は、電場又は磁場のように他の領域からの影響を受けないため空間分解能に優れており、数ミリメートル〜数十ミリメートル単位での計測が可能である。

このような第１センサ１１及び第２センサ１２は、小型の構成であっても脳活動を観測することができるため、前述したようなブレインキャップ１０に簡単に取り付けることができ、大型の構成を必要としない。

本実施の形態では、図１に示したブレインキャップ１０を利用して被験者の脳活動を時系列的に観測し、得られた観測データに基づいて被験者の行動を予測する。なお、本明細書における行動とは、外観から観察可能な動作、反応、行為だけでなく、被験者の精神状態も含むものとする。

図２はブレインキャップ１０の観測データから被験者の行動を予測する行動予測装置の構成を示す模式図である。被験者の頭部に装着されるブレインキャップ１０には、第１センサ１１及び第２センサ１２が出力する信号を集計する集計装置２０が接続されている。集計装置２０には、データ処理装置１００と無線通信を行うための通信装置３０が接続されている。本実施の形態では、ブレインキャップ１０の第１センサ１１及び第２センサ１２が取得したデータを通信装置３０を通じてデータ処理装置１００へ送信し、データ処理装置１００にて被験者の行動を予測する。

データ処理装置１００は、具体的には、パーソナルコンピュータ、ワークステーション等であり、ブレインキャップ１０に接続された通信装置３０から送信されるデータの解析を行う。データ処理装置１００は、ＣＰＵ１０１を備えており、このＣＰＵ１０１には、ＲＯＭ１０３、ＲＡＭ１０４、ＨＤＤ１０５、通信ＩＦ１０６、入力ＩＦ１０７、出力ＩＦ１０８等のハードウェアがバス１０２を介して接続されている。ＣＰＵ１０１には、ＲＯＭ１０３に予め格納された制御プログラムをＲＡＭ１０４上にロードして実行することにより、前述のハードウェア各部を制御し、全体として本発明に係る行動予測装置として機能させる。

ＨＤＤ１０５は、磁気記録媒体を有する記憶装置であり、通信ＩＦ１０６にて受信したデータ、そのデータに基づく解析結果等を記憶する。入力ＩＦ１０７は、データ処理装置１００の外部にキーボード、マウス等の入力デバイス１１０を接続するためのインタフェースであり、解析開始指示、解析結果の出力指示等の操作を受付ける。出力ＩＦ１０８は、液晶ディスプレイ装置、プリンタ装置等の出力デバイス１２０を接続するためのインタフェースであり、受信したデータ、解析結果等を出力する。

以下、データ処理装置１００を用いて被験者の行動を予測する手法について具体的に説明する。本実施の形態では、通信ＩＦ１０６を通じて取得する観測データを訓練データとして判別器（データ処理装置１００）の内部パラメータを決定し、新たな観測データ（テストデータ）が入力された場合、決定したパラメータを用いて設定される確率モデルにより、ある特定の行動が起きる確率を算出することによって行動予測を行う。

図３はデータ処理装置１００が実行する処理の手順を示すフローチャートである。データ処理装置１００は、まず、通信ＩＦ１０６を通じて訓練データを取得する（ステップＳ１１）。そして、訓練データを用いて階層ベイズ推定法により脳内電流源を特定する（ステップＳ１２）。脳内電流源の特定は、本願発明者らが特願２００５−１０７９５２明細書で開示している手法を用いることができる。すなわち、特願２００５−１０７９５２明細書では、脳内に存する電流源の時空間分布を第１の分解能で推定する第１領域と第１の分解能より低い第２の分解能で推定する第２領域とを設定し、設定した第１及び第２領域での電流源の時空間分布を、対象者の頭蓋外部にて観測した電気現象に基づいて推定するようにしており、高精度に推定したい領域に重点的にパラメータを分配することによってパラメータの増大に伴う推定精度の劣化を防止することができる。

前述した推定手法では、最適逆フィルタ推定を行うことにより電流源の推定を行っているが、空間逆フィルタがデータ適合型フィルタであることから判別手法には何通りかのバリエーションが存在する。本実施の形態では、こういった条件別フィルタを用いた判別問題に対して混合モデルによる重み付き判別手法について説明する。

判別手法としてスパースロジスティック回帰モデルを用いる。ロジスティック回帰モデルは、２カテゴリカルのデータの観測過程をモデル化した確率モデルであり、特徴量ベクトルｘ∈Ｒ^d の時に分類ラベルｙ∈｛０，１｝が観測される確率によってモデリングされる。複数のカテゴリを分類する場合はマルチノミナルモデルを用いて以下の議論を拡張することができる。ｉ番目のサンプルを｛ｙ_i ，ｘ_i ｝で表し、Ｎサンプル得られたとする。また、Ｎサンプルまとめたラベル及び特徴量をそれぞれｙ＝｛ｙ₁，…，ｙ_N ｝、Ｘ＝｛ｘ₁ ，…，ｘ_N ｝で表した場合、ロジスティック回帰モデルは次式で表すことができる。

つまり、特徴量ｘ_i がラベル１のカテゴリに属すると判断される確率ｐ_i は、特徴量ｘ_i をパラメータθでモデリングされたスカラー値関数ｆ（ｘ_i ；θ）によってマッピングし、さらに数式（１）のσ（ｕ）によって値域（０，１）に写像した値によってモデリングされる。数式（１）のσ（ｕ）はロジスティック関数と呼ばれ、ロジスティック回帰と呼ばれる由縁である。スカラー値関数ｆ（ｘ；θ）は判別関数と呼ばれ、ラベルが分からない新しいデータｘが入ってきたときに、ｆ（ｘ；θ）の値と０との大小によって、ラベル１に属するかラベル０に属するかを決定する際に使われる。実用上よく使われるものは線形判別関数であり、このとき、ｆ（ｘ；θ）＝ｘ^t θで表される。本実施の形態では、線形判別関数のみを用いる。非線形関数モデルであるカーネル関数を用いた手法も基本的にはパラメータに関して線形であるので、以下同じ議論は可能である。

パラメータθは、最尤推定法によってＮ個の｛ｙ_i ，ｘ_i ｝のサンプルから、数式（１）に示されるＰ（ｙ｜Ｘ；θ）のトータルの観測確率が最大となるように推定される。

実際の判別問題では、特徴量とラベルが既知の訓練データとから、パラメータθを最尤法により推定値θハットを計算し、ラベルが分かっていないテストデータｘ_testに対して、

と判別する。また、ラベルが１であるという確率は、次式で与えられ、判別の確信度をこの確率を用いて表すことができる。

スパースロジスティック回帰モデルは、ベイズ推定版のロジスティック回帰モデルであり、数式（１）に加えて、パラメータθの各成分θ_i の事前分布として平均０、分散α_i ^-1 の正規分布を仮定し、さらに、逆分散α_i も無情報事前分布によってモデル化する。α_i は対応するパラメータθ_i がどれだけ推定に重要であるかを決定する変数であり、α_i が小さいほど重要度が高くなる。

スパースロジスティック回帰モデルを数式でまとめた場合、以下の式で表すことができる。

パラメータθ及びハイパーパラメータα＝｛α₁ ，…，α_d ｝は、以下の式で表されるベイズ事後確率が最大をとる値として計算される。

しかし、数式（６）の右辺の積分は解析的に行うことが困難であり、モンテカルロ法などの数値解析法、又は変分ベイズ法などの近似解法が必要となる。パラメータの次元が高次のときモンテカルロ法は実用的ではないため、本実施の形態では変分ベイズ法に基づいた推定アルゴリズムを用いる。

この推定アルゴリズムをパラメータが収束するまで適用して得られる推定値θハットは、判別に有効な要素以外の多くが０となるスパースな解をもつ。これは数式（５）で与えられるベイズ事前分布をα_i で周辺化した事前分布Ｐ（θ_i ）＝θ_i ^-1 （ただし、ｉ＝１，…，Ｄ）の形から分かるようにθ_i →０の極限で無限の確率をとるような事前分布となっているためである。つまり、この事前分布は尤度関数Ｐ（ｙ｜Ｘ；θ）に対して０の値に高い確率を持つような正規化の役割を果たす。

スパースロジスティック回帰モデルの解がスパースネスになるという応用上、非常に重要な情報を与える。ＥＥＧやＭＥＧデータのように膨大な計測データが入力データとなる場合、そもそもどの特徴量を使ったら良いか分かっていることは稀である。しかも多くの場合、判別精度は適切な特徴量の選択に依存する。線形判別関数ｆ（ｘ；θ）＝ｘ^t θ＝Σθ_i ｘ_i におけるスパースなパラメータ推定は、その形をみて分かるように、推定値０に対応する特徴量を使わないことを意味する。すなわち、スパースロジスティック回帰では、パラメータの推定結果として特徴量ベクトルｘの中から自動的に判別に効果的な特徴量だけを抜き出しているわけである。したがって、初めにラフに大きな次元の初期特徴量ベクトルを入力し、スパースロジステック回帰によって学習すればよいことになる。その結果、構成される判別器は判別に有効な特徴量だけを用いたものとなる。

次に、混合スパースロジスティック回帰モデルについて説明する。混合スパースロジスティックモデルは、複数のスパースロジスティック回帰モデルの混合比による重み付きで判別するモデルである。このモデルは、後述する電流源空間での判別の例のように、特徴量自体がある種のカテゴリに分けられ、各モデルの混合比が計算できるときに有用である。

以下では混合分布をＫ個とし、サンプルｉについての混合比をｇ_i ⁽¹⁾，…，ｇ_i ^(K)とした場合、混合スパースロジスティック回帰モデル（確率モデル）を以下の式により設定する（ステップＳ１３）。

ここで、Ｐ（ｙ｜Ｘ^(k) ；θ^(k) ）は入力特徴量の値をＸ^(k)とするスパースロジスティック回帰モデル（数式（５）を参照）である。

以下にコンポーネントの数がＫ個の場合のアルゴリズムについて説明する。

初期パラメータをθ_i ^(k) ＝０，α_i ^(k) ＝１（ただし、ｉ＝１，…，Ｄ、ｋ＝１，…，Ｋ）とする。事前混合比ｇ_i ⁽¹⁾ ，…，ｇ_i ^(k)は、条件ごとに空間フィルタを考える場合、データを再構成したときのフィッティングの良さの割合で評価して設定すればよい。

次いで、データ処理装置１００はパラメータの推定を行う（ステップＳ１４）。このとき、事後混合比は次式により与えられる。

また、推定値θハットは次式により与えられる。

最大化は各コンポーネントごとに、勾配とヘシアン行列とを用いてニュートン法によって行う。ここで、勾配ｇ^(k) 、ヘシアン行列Ｈ^(k) 、最大値における事後分散Ｓ^(k) は次式で与えられる。

次いで、データ処理装置１００は分散の推定を行う（ステップＳ１５）。逆分散αを以下の式により推定する。

次いで、データ処理装置１００はパラメータが収束したか否かを判断し（ステップＳ１６）、パラメータが収束していないと判断した場合（Ｓ１６：ＮＯ）、処理をステップＳ１４へ戻し、パラメータの値が収束するまで、パラメータの推定（Ｓ１４）及び分散の推定（Ｓ１５）を行う。

パラメータが収束したと判断した場合（Ｓ１６：ＹＥＳ）、行動予測のためにデータ処理装置１００は脳活動の観測データ（テストデータ）を通信ＩＦ１０６を通じて取得し（ステップＳ１７）、前述のステップＳ１１〜Ｓ１６の処理により得られる確率モデルによりトータル確率を算出する（ステップＳ１８）。そして、算出結果に基づいて行動の予測を行う（ステップＳ１９）。

次に、ＭＥＧデータへの適用例について説明する。図４は実験手法を説明する説明図である。１７５０ミリ秒間の実験で、プレキュー時間（２５０ミリ秒）、キュー期間（１０００ミリ秒）、刺激期間（５００ミリ秒）からなる。プレキュー期間では、被験者は特に何もせずにスクリーン上の固定点（例えば、黒い小さなサークル）を見続ける。その後、注意を向けるキューとして、黒いサークルがカラー（Ｃ）又は動き（Ｍ）に変化し、被験者は指示された対象に注意を向ける。実際の実験では、１つのセッションでは常に同じキューを表示するようにしているため、キューは被験者が注意を向けるタイミングの指示として使われると理解できる。１０００ミリ秒のキュー期間の後、色（赤または青）のついたランダムドットが外向き又は内向きに５００ミリ秒だけ動く。被験者は指示によって、注意を向けていた属性について反応する。すなわち、色注意なら赤又は青ということになり、動き注意なら外向き又は内向きということになる。

解析では、瞬きなどのアーティファクトの入っているトライアルの除去、正常に働いていないセンサの除去、１００Ｈｚのデジタルローパスフィルタによる前処理を行った。実際に解析したデータはセンサ数１８６、トライアル数１３６（色注意のトライアル数を６５、動き注意のトライアル数を７１）、被験者が注意を向けているキュー期間は１０００ミリ秒である。

時刻ｔにＭ個のセンサにおいて計測したＭＥＧデータをｂ_t ＝（ｂ_t,1 ，…，ｂ_t,M ）^t とする。センサ空間における判別では、Ｍ個のセンサ全部又は一部を選択し、その時系列を加工して特徴量をつくる。一方、脳皮質における判別では、電流源推定問題を解くことによって得られるセンサ空間から皮質空間への写像（空間フィルタ）をまず適用し、写像した空間における時系列データを用いる。階層ベイズ法では空間フィルタは線形となり、それを表す行列をＦとした場合、ｊ_t ＝ＦＢ_t によって得られる脳活動電流源の時系列データｊ_t ＝（ｊ_t,1 ，…，ｊ_t,L ）^t が得られる。このデータから興味ある脳部位を特定し、時系列データの一部を特徴量として用いる。

次に、センサ空間における判別と電流源空間における判別との比較を行う。センサ空間における判別に用いる特徴量として、後頭に位置する２２のチャンネルにおける次数１０の移動平均フィルタで平滑化した後、１００Ｈｚにダウンサンプリングしたデータ点を用いた。特徴量が［１，−１］の範囲に収まるように訓練データの平均を引き、最大値で割ることによって正規化を行った。

脳皮質上の特徴量として、例えば、前述した手法により同定された６つの興味ある領域（Ｖ４−Ｌｅｆｔ，Ｖ４−Ｒｉｇｈｔ，ＭＴ−Ｌｅｆｔ，ＭＴ−Ｒｉｇｈｔ，ＳＭＧ−Ｌｅｆｔ，Ｐａｒｉｅｔａｌ−Ｒｉｇｈｔ）において、ピーク強度を持つ皮質頂点を選択した。選ばれた皮質点の電流時系列データは、推定によるばらつきを考慮するために事後分布の平方根で割り、センサ空間における判別と同じく、時間方向には次数１０の移動平均フィルタで平滑化した後１００Ｈｚにダウンサンプリングした。また、特徴量の値が［１，−１］の範囲に収まるように訓練データの平均を引き、絶対値の最大値で割ることによって正規化を行った。

階層ベイズ法では空間フィルタは各条件ごとにＦ_color 、Ｆ_motionのように計算されるため、電流源に写像した時点ですでにラベルの情報が含まれる。実際の判別では、ラベルの情報は分かっていないので、どちらの空間フィルタを適用するかそれ自体が問題である。そのため、判別問題を解くときは、判別されるべきＭＥＧデータにＦ_color 、Ｆ_motionをそれぞれ適用した結果である電流源それぞれをダウンサンプリングした特徴量を用いる必要がある。そして、それらを用いた判別方法として、混合分布を用いた方法（混合分布法という）、各条件からの電流特徴量を合わせて１つの特徴量として判別する方法（結合法という）が考えられる。

ここで、空間フィルタを用いた判別問題における注意点を２つ述べる。１つ目は、空間フィルタの構成には訓練データのみから作る点である。クロスバリデーションでは訓練データをさらに、訓練データとテストデータとに分けるが、空間フィルタも分割された訓練データからのみ構成されたフィルタでない場合には公正なバリデーションができないので注意が必要である。空間フィルタの構成に計算量がかかるときには、空間フィルタを作るためのデータを計測するのも１つの手段である。これは、独立成分分析、主成分分析などの空間フィルタを用いる方法すべてに共通するポイントである。２つ目は、階層ベイズ法のように条件別フィルタを計算する場合、空間フィルタ自体にラベルの情報が含まれるので、判別特徴量を作るときはそれぞれのフィルタを適用した結果それぞれを何らかの形で特徴量として用いなければならないという点である。

以下に、センサ空間における判別、電流源空間における判別（混合分布法）、電流源空間における判別（結合法）の結果を示す。図５は判別結果をまとめた図表である。１３６個のトライアル（サンプル）を１０９個の訓練データと、２７個のテストデータとにランダムに分け、訓練データで判別器のパラメータをスパースロジスティック回帰又はその混合モデルで学習し、テストデータを用いて判別精度を評価した。訓練・テストデータの分け方の影響を少なくするために、１０通りの分け方を行い、それぞれについて判別精度を評価した。また、学習後に０でないパラメータ推定値をもつ特徴量の次元を、学習後の特徴量次元として表示している。

判別精度では電流源空間において混合モデルを用いた方法が平均８９％の判別精度を有し、最も精度が高い。センサ空間における判別では平均８１％であり、電流源空間における判別でも結合法では、センサ空間と同程度の判別精度（８１％）であった。学習後の特徴量次元は、どの手法でも２０前後であり、学習前の２２００次元（すなわち、２００個のセンサ×時間方向のデータ１１個）に比べて、判別に有効でない多くの次元が除去されていることが分かる。このようにスパースロジスティック回帰では、データから自動的に有効なパラメータのみを推定する。

このようにセンサ空間と電流源空間における判別精度の比較を行った結果、電流源空間における判別の方法が、信号の生理学的意味から考えて精度が高くなるという予想を支持する結論が得られた。

なお、本実施の形態では、第１センサ１１及び第２センサ１２が出力するデータを用いて脳内の電流源を推定する構成としたが、例えば、第１センサとして脳磁計（ＭＥＧ）センサを用いることもできる。また、第２センサを同時計測するのではなく、事前にｆＭＲＩを用いて計測しても良い。更にｆＭＲＩなどの装置により得られる磁気共鳴画像により電流源の推定を事前に行う構成としてもよい。ｆＭＲＩによる手法では、タスク実行時と安静時との磁気共鳴画像を比較し、磁気共鳴信号の変化を統計分析することにより、脳の活動部位を推定することができる。

脳活動を観測する観測手段としてのブレインキャップを示す模式図である。 ブレインキャップの観測データから被験者の行動を予測する行動予測装置の構成を示す模式図である。 データ処理装置が実行する処理の手順を示すフローチャートである。 実験手法を説明する説明図である。 判別結果をまとめた図表である。

符号の説明

１０ ブレインキャップ
２０ 集計装置
３０ 通信装置
１００ データ処理装置
１０１ ＣＰＵ
１０２ バス
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ＨＤＤ
１０６ 通信ＩＦ
１０７ 入力ＩＦ
１０８ 出力ＩＦ
１１０ 入力デバイス
１２０ 出力デバイス

Claims (12)

1. 観測対象者の脳活動を時系列的に観測し、得られた観測データに基づいて前記観測対象者の行動を予測する行動予測方法において、
   前記観測データを前記観測対象者の脳内の複数の電流源における時系列データに写像するフィルタを設定するステップと、設定したフィルタによって写像される時系列データの入力に対して前記観測対象者が特定の行動を起こす確率を出力する確率モデルを設定するステップと、新たに取得した観測データを前記フィルタにより前記電流源における時系列データに変換するステップと、変換した時系列データを設定した確率モデルに入力することにより前記確率を算出するステップとを有し、算出した確率に基づいて前記観測対象者の行動を予測することを特徴とする行動予測方法。
2. 予測すべき行動の数だけ前記フィルタを設定し、各フィルタの前記確率への寄与度を算出するステップを更に有することを特徴とする請求項１に記載の行動予測方法。
3. 前記確率モデルは、学習すべきパラメータを含み、前記観測対象者が前記特定の行動を実行した際に観測される観測データに基づいて前記パラメータを学習するステップを更に有することを特徴とする請求項１又は請求項２に記載の行動予測方法。
4. 前記パラメータをベイズ推定法を用いて学習するステップを有することを特徴とする請求項３に記載の行動予測方法。
5. 前記確率モデルは、前記時系列データの入力に応じたスカラー値を出力する判別関数と、該判別関数の出力値に応じて所定値域の値を出力するロジスティック関数とにより記述されることを特徴とする請求項１乃至請求項４の何れか１つに記載の行動予測方法。
6. 前記確率モデルは、スパースロジスティック回帰モデルであることを特徴とする請求項１乃至請求項５の何れか１つに記載の行動予測方法。
7. 観測対象者の脳活動を時系列的に観測し、得られた観測データに基づいて前記観測対象者の行動を予測する行動予測装置において、
   前記観測データを前記観測対象者の脳内の複数の電流源における時系列データに写像するフィルタを設定する手段と、設定したフィルタによって写像される時系列データの入力に対して前記観測対象者が特定の行動を起こす確率を出力する確率モデルを設定する手段と、新たに取得した観測データを前記フィルタにより前記電流源における時系列データに変換する手段と、変換した時系列データを設定した確率モデルに入力することにより前記確率を算出する手段とを備え、算出した確率に基づいて前記観測対象者の行動を予測するようにしてあることを特徴とする行動予測装置。
8. 予測すべき行動の数だけ前記フィルタを設定し、各フィルタの前記確率への寄与度を算出する手段を更に備えることを特徴とする請求項７に記載の行動予測装置。
9. 前記確率モデルは、学習すべきパラメータを含み、前記観測対象者が前記特定の行動を実行した際に観測される観測データに基づいて前記パラメータを学習する手段を更に備えることを特徴とする請求項７又は請求項８に記載の行動予測装置。
10. 前記パラメータをベイズ推定法を用いて学習するようにしてあることを特徴とする請求項９に記載の行動予測装置。
11. 前記確率モデルは、前記時系列データの入力に応じたスカラー値を出力する判別関数と、該判別関数の出力値に応じて所定値域の値を出力するロジスティック関数とにより記述されることを特徴とする請求項７乃至請求項１０の何れか１つに記載の行動予測装置。
12. 前記確率モデルは、スパースロジスティック回帰モデルであることを特徴とする請求項７乃至請求項１１の何れか１つに記載の行動予測装置。

Images