WO2025150193A1 - ブレインコンピュータインタフェース訓練システム、訓練装置、訓練方法およびプログラム - Google Patents

Abstract

この発明の一態様は、ユーザが想起する命令に対応する行為を表すデータを取得し、取得した前記行為を表すデータをもとに対応する前記命令の種類を判定し、判定された前記命令の種類に予め対応付けられた感覚刺激を選択して、選択した前記感覚刺激を前記ユーザに付与するための処理を実行する。そして、前記感覚刺激を付与したときの前記ユーザの脳波パターンを取得し、入力された前記命令の種類と取得された前記脳波パターンとのセットを学習データとして用いて命令推定モデルを生成し、生成された前記命令推定モデルを記憶するようにしたものである。

Description

ブレインコンピュータインタフェース訓練システム、訓練装置、訓練方法およびプログラム

　この発明の一態様は、脳波を使ってコンピュータを操作するために用いるブレインコンピュータインタフェースを訓練するためのシステムと、このシステムで使用される訓練装置、訓練方法およびプログラムに関する。

　想起された操作命令を脳波の違いによって推定する技術が知られている。この技術は、ブレインコンピュータインタフェース（Brain-Computer Interface：ＢＣＩ）と呼ばれる。この技術を用いることで、脳波を使ってコンピュータを操作することが可能となるため、特に身体の不自由な人がコンピュータを簡便に操作できるようになると期待されている。

　ＢＣＩを使用するには、例えば人の脳内で想起される命令の種類とその時の脳波パターンとをセットで学習しておき、測定された脳波パターンをもとに、想起された命令の種類を推定する手法が用いられる。命令の入力手法として代表的なものに運動想起があげられる。例えば、右手を動かすイメージと左手を動かすイメージとで異なる脳波パターンが観察されることから、それぞれの運動想起に別々の命令を対応付けておけば、ＢＣＩに対し命令を入力することが可能となる。

　しかし、運動想起を用いた命令の入力手法は、ユーザによって運動想起を適切に使える場合と使えない場合とがある。そのため、ユーザの運動想起を用いて入力した命令を精度良く推定できるようにＢＣＩを訓練する手法が必要となる。

　そこで、例えば非特許文献１では、ＢＣＩに命令を適切に入力できないユーザのために、ユーザにボールを握らせながら運動を想起させることで、ユーザが運動想起を行いやすくして、ＢＣＩが高い精度で命令を認識できるようにする技術が提案されている。

Sangin Park et al. "Improving motor imagery-based brain-computer interface performance based on sensory stimulation training: an approach focused on poorly performing users." Frontiers in Neuroscience 15 (2021): 732545.

　ところが、非特許文献１に記載された技術を適用しても、運動想起に対するユーザの適応力には個人差があるため、適切に運動想起を行える人に比べて十分な推定精度が得られない場合がある。また、ＢＣＩによる命令の推定精度は運動想起による脳波パターンの違いにより決定されるため、運動想起に使用する身体部位としては、例えば右手と左手というような動きの大きな身体部位を用いる必要がある。このため、例えば右手の５本の指のどれか１本を動かすというように、動きの違いがわずかな身体部位の動きを、運動想起に用いることは難しい。

　この発明は上記事情に着目してなされたもので、想起行為に対する個人差および想起行為に対応付けられる身体部位の相違による命令の推定精度の低下を軽減して、高精度の命令推定を可能にする技術を提供しようとするものである。

　上記課題を解決するためにこの発明に係るブレインコンピュータインタフェース訓練装置または訓練方法の一態様は、ユーザが想起する命令に対応する行為を表すデータを取得し、取得した前記行為を表すデータをもとに対応する前記命令の種類を判定し、判定された前記命令の種類に予め対応付けられた感覚刺激を選択して、選択した前記感覚刺激を前記ユーザに付与するための処理を実行する。そして、前記感覚刺激を付与したときの前記ユーザの脳波パターンを取得し、入力された前記命令の種類と取得された前記脳波パターンとのセットを学習データとして用いて命令推定モデルを生成し、生成された前記命令推定モデルを記憶するようにしたものである。

　この発明の一態様によれば、ユーザが想起する命令に対応する行為に対し感覚刺激を用いて条件付け訓練が行われ、その結果を学習データとして用いて命令推定モデルが生成される。従って、想起に対応する行為そのものの成分は小さくても、感覚刺激による条件反射が反映された、行為ごとに違いが顕著な脳波パターンを得ることができ、これにより複数種類の行為を選択的にイメージして複数種類の命令を入力したときの命令の推定精度を高めることが可能となる。この結果、ユーザが例えば任意の手指を動かすという動きの小さな運動想起を行った場合でも、ブレインコンピュータインタフェースが入力された命令の種類を精度良く推定することが可能となる。

　また、感覚刺激を用いた条件付け訓練を事前に行うことで、ユーザが想起した命令に対応する脳波パターンの特徴が顕著になる。この結果、例えば運動想起等の想起に対応付けた行為が苦手なユーザでも特徴が顕著な脳波パターンが発生されることになり、これにより想起に対応付けた行為に対するユーザの個人差の影響を軽減して、どのユーザでも想起により精度良く命令を入力することが可能となる。

　すなわちこの発明の一態様によれば、想起行為に対する個人差および想起行為に対応付けられる身体部位の相違による命令の推定精度の低下を軽減して、高精度の命令推定を可能にする技術を提供することができる。

図１は、この発明の一実施形態に係るブレインコンピュータインタフェース訓練システムの一例を示すブロック図である。 図２は、この発明の一実施形態に係るブレインコンピュータインタフェース訓練装置のソフトウェア構成を示すブロック図である。 図３は、図２に示したブレインコンピュータインタフェース訓練装置の制御部が実行する訓練制御の処理手順と処理内容の一例を示すフローチャートである。

　以下、図面を参照してこの発明に係わる実施形態を説明する。

　［一実施形態］
　（概要）
　この発明の一実施形態は、命令を入力するための想起行為として運動想起を用いたブレインコンピュータインタフェース（以後ＢＣＩと呼称する）を訓練する際に、感覚刺激を用いて条件付けを行うことで脳の条件反射を生じさせ、運動想起に対応する脳波パターンの変化を増加させるようにしたものである。

　すなわち、ＢＣＩの訓練期間において、それぞれの命令に対応する複数種の運動想起に対し、ユーザの視覚刺激、聴覚刺激、触覚刺激、嗅覚刺激および味覚刺激からなる異なる感覚刺激を用いて条件付け訓練を行い、各運動想起に対応する脳波パターンの変化を顕著にする。

　一例を述べると、訓練期間において、右手を動かす状態をイメージするときに、ユーザに視覚刺激（例えば光刺激）を提示し、左手を動かす状態をイメージするときに、ユーザに聴覚刺激（例えばビープ音）を提示する。このような条件付け訓練を繰り返すと、ユーザは右手を動かす状態をイメージしたときに視覚野が反応し、左手を動かす状態をイメージしたときに聴覚野が反応するように、脳の反応がそれぞれ変化していく。そして、条件付け訓練後において、ユーザの脳は、右手を動かす状態をイメージすると視覚刺激がなくても視覚野が反応し、左手を動かす状態をイメージすると聴覚刺激がなくても聴覚野が反応するようになる。

　ここで、視覚野は後頭葉に位置し、聴覚野は側頭葉に位置する。このため、条件付け訓練後においてユーザの脳は、右手を動かす状態をイメージしたときと左手を動かす状態をイメージしたときとで発生する脳波パターンの違いが顕著になり、この結果ＢＣＩによる命令の推定精度は向上する。

　同様に、触覚野、嗅覚野および味覚野もそれぞれ脳の異なる部位に存在する。このため、例えば五感刺激それぞれを用いて５種類の運動想起に対し条件付け訓練を行うことで、５種類の運動想起に対応する脳波パターンの違いを顕著にすることができ、これにより５種類の運動想起を用いた命令入力に対するＢＣＩの推定精度を高めることが可能となる。

　従って、この発明の一実施形態によれば、ユーザごとにそれぞれ上記した条件付け訓練を行ってその結果をＢＣＩに学習させることで、ユーザの運動想起に対する個人差を軽減することが可能となり、どのユーザが運動想起を用いて命令を入力しても、ＢＣＩは命令を高精度に推定することが可能となる。

　また、この発明の一実施形態では、感覚刺激に対する条件反射による脳波パターンの違いをもとに運動想起による命令を識別している。このため、ＢＣＩは、運動想起そのものの脳波パターンは小さくても命令を推定することができ、例えばユーザが手の指を１本動かすという動きの小さな身体動作をイメージした場合でも、命令の種類を精度良く推定することが可能となる。

　例えば、親指を動かす状態をイメージしたときに視覚刺激を、人差し指を動かす状態をイメージしたときに聴覚刺激を、中指を動かす状態をイメージしたときに触覚刺激を、薬指を動かす状態をイメージしたときに嗅覚刺激を、小指を動かす状態をイメージしたときに味覚刺激を、それぞれ提示するようにユーザに対し条件付け訓練を行い、その結果をＢＣＩに学習させる。このようにすると、ユーザが５本の各指を動かす状態をイメージしたとき、それぞれのイメージに対応した感覚野が反応し、それぞれ違いが顕著な脳波パターンが発生する。その結果ＢＣＩは、これらの脳波パターンの相違からユーザの５本の指を用いた運動想起による命令を精度良く識別することが可能となる。

　なお、以上の例は５本の指を選択的に動かすイメージを用いて５種類の命令を入力する場合を例にとって説明したが、４本以下２本以上の指を選択的に動かすイメージを用いて異なる命令を入力するようにしてもよいし、腕の動きと複数の指の動きを併用したり、腕および手指だけでなく両脚や首、目、口の動き等に複数種類の命令を対応付けてイメージするようにしてもよい。

　（構成例）
　（１）システム
　図１は、この発明の一実施形態に係るＢＣＩ訓練システムの構成の一例を示すブロック図である。

　この発明の一実施形態に係るＢＣＩ訓練システムは、例えばパーソナルコンピュータからなるＢＣＩ訓練装置ＣＳを中核して備える。そして、このＢＣＩ訓練装置ＣＳに対し、センシングデバイスとしてのデータグローブＧＳおよび脳波センサＢＳをそれぞれ接続し、さらに感覚刺激発生用のデバイスとしての表示デバイスＤＰ、スピーカＳＰ、電気刺激発生器ＥＳ、アロマディフューザＡＤおよび電気味覚発生器ＥＴをそれぞれ接続するようにしたものである。

　データグローブＧＳは、訓練対象となるユーザの５本の手指に装着され、ユーザの５本の手指の動きをそれぞれ検出してその検出結果を表すグローブセンサデータをＢＣＩ訓練装置ＣＳへ出力する。

　脳波センサＢＳは、上記ユーザの頭部に装着され、ユーザの脳の異なる部位から発生する脳波をそれぞれ測定して、その測定データをＢＣＩ訓練装置ＣＳへ出力する。

　表示デバイスＤＰは、例えばＢＣＩ訓練装置ＣＳが備えるディスプレイからなり、ＢＣＩ訓練装置ＣＳにおいて生成される発光信号を表示することにより、上記ユーザに対し光による視覚的な刺激を与える。

　スピーカＳＰは、例えばＢＣＩ訓練装置ＣＳが備えるスピーカからなり、ＢＣＩ訓練装置ＣＳにおいて生成される鳴音信号を拡声出力することにより、上記ユーザに対し音による聴覚刺激を与える。

　電気刺激発生器ＥＳは、例えば上記ユーザの腕などにおいて皮膚に接触する状態で装着され、ＢＣＩ訓練装置ＣＳから出力される電気刺激発生信号に従い皮膚電気刺激を発生することにより、ユーザに対し触覚刺激を与える。

　アロマディフューザＡＤは、例えば上記ユーザの顔に近い位置に配置され、ＢＣＩ訓練装置ＣＳから出力される香気発生信号に従い香気を発生することにより、ユーザに対し嗅覚刺激を与える。

　電気味覚発生器ＥＴは、例えば上記ユーザの口腔内において舌に接触するように配置され、ＢＣＩ訓練装置ＣＳから出力される電気味覚発生信号に応じて電気味覚を発生することにより、ユーザに対し味覚刺激を与える。

　（２）ＢＣＩ訓練装置ＣＳ
　図２は、この発明の一実施形態に係るＢＣＩ訓練装置ＣＳのソフトウェア構成を示すブロック図である。

　ＢＣＩ訓練装置ＣＳは、図１および図２に示すように、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１を備え、この制御部１に対し、バス６を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、センサインタフェース（以後インタフェースをＩ／Ｆと略称する）部４と、入出力Ｉ／Ｆ部５とを接続したものとなっている。

　センサＩ／Ｆ部４には、上記データグローブＧＳおよび脳波センサＢＳが、例えば信号ケーブルを介して接続される。センサＩ／Ｆ部４は、上記データグローブＧＳから出力されるグローブセンサデータと、脳波センサＢＳから出力される脳波測定データをそれぞれ受信する。

　入出力Ｉ／Ｆ部５には、上記表示デバイスＤＰ、スピーカＳＰ、電気刺激発生器ＥＳ、アロマディフューザＡＤおよび電気味覚発生器ＥＴが、例えば信号ケーブルを介して接続される。入出力Ｉ／Ｆ部５は、上記表示デバイスＤＰ、スピーカＳＰ、電気刺激発生器ＥＳ、アロマディフューザＡＤおよび電気味覚発生器ＥＴに対し、それぞれ制御部１の制御の下で、発光信号、鳴音信号、電気刺激発生信号、香気発生信号および電気味覚発生信号を出力する。

　なお、センサＩ／Ｆ部４と脳波センサＢＳおよびデータグローブＧＳとの間、および入出力Ｉ／Ｆ部５と、表示デバイスＤＰ、スピーカＳＰ、電気刺激発生器ＥＳ、アロマディフューザＡＤおよび電気味覚発生器ＥＴとの間の接続手段としては、信号ケーブル以外に、Bluetooth（登録商標）等の小電力型の無線インタフェースを使用してもよい。無線インタフェースを使用することで、訓練を受ける際のユーザの負荷を軽減することが可能となる。

　プログラム記憶部２は、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせたもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種処理を実行するために必要なアプリケーション・プログラムを格納する。

　データ記憶部３は、例えば、記憶媒体としてＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリとＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、その記憶領域には、命令種別判定データ記憶部３１と、刺激制御データ記憶部３２と、脳波パターン記憶部３３と、命令推定モデル記憶部３４とが設けられている。

　命令種別判定データ記憶部３１は、ユーザが動かした指の種類の判定データをその検出時刻を表すデータと共に、命令の種別を表す情報としてユーザの識別情報（以後ユーザＩＤと称する）に対応付けて保存する。

　刺激制御データ記憶部３２には、ユーザが動かした指の種類に対応付けて、刺激の種類とその刺激内容を表す感覚刺激制御データが事前に記憶されている。

　脳波パターン記憶部３３は、ユーザの脳波測定データから検出された脳波パターンを、その検出時刻を表すデータと共に、ユーザＩＤに対応付けて保存する。

　命令推定モデル記憶部３４は、学習済みのＢＣＩ命令推定モデルに係るパラメータを記憶する。ＢＣＩ命令推定モデルには、例えばニューラルネットワークを用いた機械学習モデルが用いられるが、ＳＶＭ（Support Vector Machine）等のその他の機械学習モデルが用いられてもよい。

　制御部１は、この発明の一実施形態に係る処理機能部として、訓練全体を統括的に制御する訓練制御部１０と、この訓練制御部１０の制御の下でそれぞれ処理を実行する、グローブセンサデータ取得処理部１１、命令判定処理部１２、感覚刺激発生処理部１３、脳波測定データ取得処理部１４および命令推定モデル学習処理部１５とを備えている。

　上記訓練制御部１０および上記各処理部１０～１５は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。なお、上記訓練制御部１０および上記各処理部１１～１５の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

　グローブセンサデータ取得処理部１１は、訓練対象のユーザが命令の種類に対応する手指を動かすごとに、データグローブＧＳから出力されるグローブセンサデータをセンサＩ／Ｆ部４を介して受信する。グローブセンサデータは、上記訓練対象ユーザの手指の動きを表す。

　命令判定処理部１２は、上記グローブセンサデータが受信されるごとに、当該グローブセンサデータをもとにユーザが動かした指の種類を判定し、判定した指の種類を表す情報をその検出時刻を表す情報と共に、訓練用の命令の種類を表す情報としてユーザＩＤに対応付けて命令種別判定データ記憶部３１に保存する。

　感覚刺激発生処理部１３は、上記命令判定処理部１２により命令の種類が判定されるごとに、当該命令の種類に対応付けられた感覚刺激制御データを刺激制御データ記憶部３２から読み込む。そして、感覚刺激発生処理部１３は、読み込んだ上記感覚刺激制御データに従い、入出力Ｉ／Ｆ部５から表示デバイスＤＰ、スピーカＳＰ、電気刺激発生器ＥＳ、アロマディフューザＡＤおよび電気味覚発生器ＥＴの何れかに対し、刺激を発生させるための信号を出力する。

　脳波測定データ取得処理部１４は、上記刺激を発生するための信号が出力されるごとに、その出力時点から一定期間内に脳波センサＢＳから出力される脳波測定データをセンサＩ／Ｆ部４を介して取得する。そして、脳波測定データ取得処理部１４は、取得した上記脳波測定データから脳波パターンを識別して、識別した脳波パターンの種類を表すデータを脳波の検出時刻を表す情報と共に、ユーザＩＤに対応付けて脳波パターン記憶部３３に保存する。

　訓練制御部１０は、命令の種類ごとに、例えば５本それぞれの手指ごとに、上記グローブセンサデータ取得処理部１１乃至命令推定モデル学習処理部１５による一連の処理を、予め設定した複数回繰り返し実行させる。そして、訓練制御部１０は、上記命令種別判定データ記憶部３１および脳波パターン記憶部３３に、命令推定モデルの学習に必要十分な数の命令の種類と脳波パターンとのセットを蓄積させる。

　命令推定モデル学習処理部１５は、命令の種類ごとに、上記命令種別判定データ記憶部３１および脳波パターン記憶部３３から、命令の種類と脳波パターンとの複数のセットを読み出し、読み出した複数のセットを学習データとして用いて命令推定モデルを学習させる。そして、命令推定モデル学習処理部１５は、学習済みの上記命令推定モデルを表すパラメータを命令推定モデル記憶部３４に記憶する。

　（動作例）
　次に、以上のように構成されたＢＣＩ訓練装置ＣＳの動作例を説明する。
　ここでは、５本の手指の各々を動かすイメージをそれぞれ命令とし、訓練期間には上記命令の入力手法として５本の手指をわずかに動かす手法を用いる場合を例にとって説明を行う。

　図３は、ＢＣＩ訓練装置ＣＳの制御部１が実行する訓練制御に係わる一連の処理手順と処理内容の一例を示すフローチャートである。

　（１）訓練用の命令の入力
　訓練に先立ち、訓練対象のユーザの身体各部には、脳波センサＢＳ、データグローブＧＳ、電気刺激発生器ＥＳおよび電気味覚発生器ＥＴを装着し、さらにユーザの近傍にアロマディフューザＡＤを配置する。

　この状態で、訓練対象のユーザが図示しない入力デバイスを操作してＢＣＩ訓練装置ＣＳに訓練開始要求を入力したとする。ＢＣＩ訓練装置ＣＳの制御部１は、ステップＳ１０により上記訓練開始要求を検知すると、上記訓練対象のユーザに対し訓練用の命令として手指を動かすように指示する。その指示手法としては、例えば表示デバイスＤＰにメッセージを表示する手法を用いてもよいし、例えばスピーカＳＰから音声メッセージを出力する手法を用いてもよい。

　上記指示に対しユーザが、脳内で例えば先ず親指を動かすことをイメージしながら当該親指をわずかに動かすと、このときの親指の動きがデータグローブＧＳにより検出され、グローブセンサデータとしてＢＣＩ訓練装置ＣＳに入力される。

　ＢＣＩ訓練装置ＣＳの制御部１は、グローブセンサデータ取得処理部１１の制御の下、ステップＳ１１で上記グローブセンサデータを受信すると、命令判定処理部１２の制御の下、ステップＳ１２において、受信された上記グローブセンサデータをもとにユーザが動かした指の種類を判定する。そして、命令判定処理部１２は、判定した指の種類をその検出時刻を表す情報と共に、命令の種類の判定情報としてユーザＩＤに対応付けて命令種別判定データ記憶部３１に保存する。

　（２）感覚刺激の付与
　ＢＣＩ訓練装置ＣＳの制御部１は、次に上記指を動かすイメージに条件付けをするために、感覚刺激発生処理部１３の制御の下、ユーザに対し動かした指に対応する命令の種類に対し事前に決められた感覚刺激を与えるための処理を実行する。

　すなわち、感覚刺激発生処理部１３は、ステップＳ１３において、上記命令判定処理部１２により判定された命令の種類に対応する感覚刺激の種類を表す感覚刺激制御データを刺激制御データ記憶部３２から読み出す。そして、感覚刺激発生処理部１３は、読み出した上記感覚刺激制御データを、入出力Ｉ／Ｆ部５から刺激を発生するための複数のデバイスのいずれかへ出力する。

　例えば、いま親指を動かすイメージに対応する命令の種類に対し、視覚刺激が対応付けられていたとする。この場合、感覚刺激発生処理部１３は、視覚刺激を発生させるための発光信号を入出力Ｉ／Ｆ部５から表示デバイスＤＰへ出力する。この結果、表示デバイスＤＰから例えばフラッシュ光が発生し、ユーザに対し視覚刺激が与えられる。

　また、例えば人差し指を動かすイメージに対応する命令の種類に対し、聴覚刺激が対応付けられていたとすると、感覚刺激発生処理部１３は、聴覚刺激を発生させるための鳴音信号を入出力Ｉ／Ｆ部５からスピーカＳＰへ出力する。この結果、スピーカＳＰから例えばビープ音が発生され、ユーザに対し聴覚刺激が与えられる。

　さらに、例えば中指を動かすイメージに対応する命令の種類に対し、触覚刺激が対応付けられていたとすると、感覚刺激発生処理部１３は、触覚刺激を発生させるための電気刺激信号を入出力Ｉ／Ｆ部５から電気刺激発生器ＥＳへ出力する。この結果、電気刺激発生器ＥＳによりユーザの腕の皮膚に電気刺激による触覚刺激が与えられる。

　またさらに、例えば薬指を動かすイメージに対応する命令の種類に対し、嗅覚刺激が対応付けられていたとすると、感覚刺激発生処理部１３は、嗅覚刺激を発生させるための香気発生信号を入出力Ｉ／Ｆ部５からアロマディフューザＡＤへ出力する。この結果、アロマディフューザＡＤからアロマが噴射され、ユーザに対し嗅覚刺激が与えられる。

　同様に、例えば小指を動かすイメージに対応する命令の種類に対し、味覚刺激が対応付けられていたとすると、感覚刺激発生処理部１３は、味覚刺激を発生させるための電気味覚信号を入出力Ｉ／Ｆ部５から電気味覚発生器ＥＴへ出力する。この結果、電気味覚発生器ＥＴによりユーザに対し電気味覚による味覚刺激が与えられる。

　（３）脳波パターンの検出
　ユーザに対し上記感覚刺激を付与すると、ＢＣＩ訓練装置ＣＳの制御部１は、続いてステップＳ１４において、脳波測定データ取得処理部１４の制御の下、上記感覚刺激の付与時点から一定時間内に、脳波センサＢＳから出力されるユーザの脳波測定データをセンサＩ／Ｆ部４を介して受信する。そして、脳波測定データ取得処理部１４は、受信した上記脳波測定データから脳波パターンを識別し、識別した脳波パターンをその検出時刻を表す情報と共に、ユーザＩＤに対応付けて脳波パターン記憶部３３に保存する。

　（４）命令の種類ごとの繰り返し処理
　ＢＣＩ訓練装置ＣＳの制御部１は、訓練制御部１０の制御の下、それぞれの命令の種類について、ユーザが当該命令の種類に対応する指を動かすごとに上記ステップＳ１１～Ｓ１６による一連のデータ収集処理を複数回繰り返す。このときの繰り返し回数は命令推定モデルの学習に必要な回数に設定され、また繰り返し周期は、例えば４秒に設定される。

　上記データ収集処理複数回を繰り返すことにより、命令種別判定データ記憶部３１および脳波パターン記憶部３３には、それぞれの命令について、命令の種類とそれに対応する脳波パターンとのデータセットが複数個蓄積される。なお、上記命令の種類とそれに対応する脳波パターンとの紐付けは、両者に付与されている検出時刻により行われる。

　訓練制御部１０は、各命令についてそれぞれ上記複数回のデータ収集処理が終了したか否かをステップＳ１５により判定し、終了したと判定すると命令推定モデル学習処理部１５に対し学習処理を指示する。

　（５）命令推定モデルの学習
　訓練制御部１０から学習処理が指示されると、命令推定モデル学習処理部１５は、ステップＳ１７において、命令の種類ごとに、上記命令種別判定データ記憶部３１および脳波パターン記憶部３３から、蓄積されている命令の種類とそれに対応する脳波パターンとの複数のセットを読み出す。そして、命令推定モデル学習処理部１５は、読み出した上記複数のセットを用いて命令推定モデルを学習させる。

　そうして、全ての命令の種類に対する学習処理が終了すると、命令推定モデル学習処理部１５は、学習済みの命令推定モデルのパラメータを命令推定モデル記憶部３４に記憶する。なお、学習アルゴリズムとしては、例えばディープラーニングが用いられるが、他の機械学習アルゴリズムが用いられてもよい。

　（６）他のユーザに対する命令推定モデルの学習
　ＢＣＩ訓練装置ＣＳの制御部１は、他の訓練対象ユーザについても同様の処理手順に従い、指の動きに対応する命令の各種類に対し感覚刺激を条件付けて訓練を行い、その結果得られた命令の種類と脳波パターンとからなる複数のセットを学習データとして用いて命令推定モデルを学習させる。そして、訓練の終了指示をステップＳ１８で検知すると、ＢＣＩ訓練装置ＣＳの制御部１は、訓練制御部１０の制御の下、訓練制御を終了し待機状態に戻る。

　（７）学習済みの命令推定モデルを用いた命令の種類の推定
　ＢＣＩを用いる際に、ユーザは先ず自身のユーザＩＤを入力して、ＢＣＩ訓練装置ＣＳ内に記憶される命令推定モデルのうち自身に対応する命令推定モデルを指定する。そして、この状態でユーザは、入力したい命令の種類に対応する指を動かす状態を脳内でイメージする。そうすると、ユーザの脳波が脳波センサＢＳにより測定され、ＢＣＩ訓練装置ＣＳに入力される。

　ＢＣＩ訓練装置ＣＳの制御部１は、上記脳波の測定データを取得すると、脳波測定データ取得処理部１４により、取得した上記脳波測定データから脳波のパターンを識別する。そして、識別した上記脳波パターンの特徴量を説明変数として、自身に対応する命令推定モデルに入力し、この命令推定モデルから目的変数として出力される命令の種類を表す情報を取得する。

　ここで、上記測定された脳波は指を動かすというイメージが反映されたものであるが、事前に行われた条件付け訓練において付与された感覚刺激による条件反射が反映された、変化の大きな信号となる。従って、上記脳波パターンの識別処理においては脳波パターンを精度良く識別することが可能となり、結果的に命令推定モデルでは入力命令の種類を高精度に推定することが可能となる。

　命令推定モデルから出力された上記命令の種類を表す情報は、例えばＢＣＩ訓練装置ＣＳ内の所定のタスク処理に使用される。なお、上記命令の種類を表す情報は、例えばＢＣＩ訓練装置ＣＳから他のパーソナルコンピュータまたはサーバコンピュータに送信されて、遠隔地のロボットやメタバースのアバタを制御するために使用されてもよく、命令の用途を上記例に限らない。

　（効果）
　以上述べたように一実施形態では、訓練期間において、命令の種類を異なる指を動かすイメージに対応付ける場合に、訓練用の指の動きをデータグローブＧＳにより検出してそのセンサデータから命令の種類を判定して保存すると共に、判定した上記命令の種類に対応付けた感覚刺激をユーザに与え、このときのユーザの脳波を脳波センサＢＳにより検出してその測定データから脳波パターンを識別して保存する。そして、以上の処理を命令の種類ごとに複数回繰り返し実行して、上記命令の種類と脳波パターンとのセットを複数蓄積し、蓄積された上記複数のセットを学習データとして用いて命令推定モデルを学習させるようにしている。

　従って、指を動かすイメージに対し感覚刺激を用いて条件付け訓練が行われることになり、指を用いた運動想起そのものの成分は小さくても、感覚刺激による条件反射が反映された、指ごとに違いが顕著な脳波パターンを得ることができ、これにより複数の指を選択的に動かすイメージを用いて複数種類の命令を入力する際の推定精度を高めることが可能となる。

　この結果、ＢＣＩは、指を動かすイメージに対応する命令の種類を高精度に推定することができ、例えばユーザが任意の手指を動かすという動きの小さな身体動作をイメージした場合でも、命令の種類を精度良く推定することが可能となる。

　また、感覚刺激を用いた条件付け訓練により、脳波パターンの特徴が顕著に現れる。この結果、指を用いた運動想起が苦手なユーザでも特徴が顕著な脳波パターンが発生されることになり、これにより運動想起に対するユーザの個人差の影響を軽減して、どのユーザでも指を動かすイメージにより精度良く命令を入力することが可能となる。

　［その他の実施形態］
　（１）一実施形態では、１種類の命令に対して１種類の感覚刺激を対応させる場合を例にとって説明した。しかし、これに限らず、１種類の感覚刺激を複数種類の命令に対応させるようにしてもよい。

　例えば、右手または左手の親指の動きに対し視覚刺激を対応付け、右手または左手の人差し指の動きに対し聴覚刺激を対応させる。一般に、運動想起時の脳波パターンにおいて、右手と左手は区別がつき易いため、右手と左手に同一の感覚刺激を対応付けても、右手の親指を動かしたか左手の親指を動かしたかは、運動野と視覚野の脳波パターンから比較的容易に判別可能となる。

　（２）一方、嗅覚野と味覚野は脳の奥深くに位置するため、脳波パターンに表出され難い可能性がある。そこで、例えば嗅覚刺激を親指と対応付け、味覚刺激を小指と対応付けて条件付け訓練を行う。このようにすると、運動野間の脳波パターンの違いをより顕著にすることが可能となり、このようにすることで、親指と小指との間の命令の識別精度を高めることができる。

　（３）さらに、一実施形態では命令の入力手法として、手や指を用いた運動想起を使用する場合を例にとって説明した。しかし、これに限らず、例えば言葉または図や絵を脳内でイメージすることで命令を入力するようにしてもよい。この場合も、訓練期間に、言葉または図や絵に感覚刺激を対応付けて条件付け訓練を行い、その結果を用いて命令推定モデルを学習させることで、命令の種類を精度良く推定することが可能となる。

　（４）一実施形態では、ＢＣＩ訓練装置ＣＳをパーソナルコンピュータにより構成する場合を例にとって説明したが、Ｗｅｂ上またはクラウド上に配置されたサーバコンピュータにより構成してもよい。この場合、ユーザごとに、訓練後のＢＣＩ命令推定モデルをサーバコンピュータからユーザが使用するパーソナルコンピュータにダウンロードし、以後ＢＣＩを使用した命令入力を行えるようにするとよい。

　（５）その他、ＢＣＩ訓練装置の機能構成や訓練制御の処理手順と処理内容、脳波センサ等の各種センサの構成、各感覚刺激発生用のデバイスの構成等については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

　以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

　ＣＳ…ＢＣＩ訓練装置
　ＧＳ…データグローブ
　ＢＳ…脳波センサ
　ＤＰ…表示デバイス
　ＳＰ…スピーカ
　ＥＳ…電気刺激発生器
　ＡＤ…アロマディフューザ
　ＥＴ…電気味覚発生器
　１…制御部
　２…プログラム記憶部
　３…データ記憶部
　４…センサＩ／Ｆ部
　５…入出力Ｉ／Ｆ部
　６…バス
　１０…訓練制御部
　１１…グローブセンサデータ取得処理部
　１２…命令判定処理部
　１３…感覚刺激発生処理部
　１４…脳波測定データ取得処理部
　１５…命令推定モデル学習処理部
　３１…命令種別判定データ記憶部
　３２…刺激制御データ記憶部
　３３…脳波パターン記憶部
　３４…命令推定モデル記憶部
 

Claims (8)

1. 　脳波を使用してコンピュータを操作するブレインコンピュータインタフェースを訓練するブレインコンピュータインタフェース訓練システムであって、
   　ユーザの脳波を測定するための脳波センサと、
   　前記ユーザが想起する命令に対応付けられた前記ユーザの行為を検出する行為センサと、
   　複数の種類の感覚刺激を選択的に発生して前記ユーザに付与する刺激デバイスと、
   　前記脳波センサ、前記行為センサおよび前記刺激デバイスに接続される訓練装置と
   　を具備し、
   　前記訓練装置は、
   　前記ユーザの行為を表す検出データを前記行為センサから取得し、取得した前記行為を表す検出データをもとに対応する前記命令の種類を判定する第１の処理部と、
   　複数種類の前記感覚刺激の中から、判定された前記命令の種類に予め対応付けられた前記感覚刺激を選択し、選択した前記感覚刺激を前記ユーザに付与するべく前記刺激デバイスを制御する第２の処理部と、
   　前記感覚刺激が付与されたときの前記ユーザの脳波を表す測定データを前記脳波センサから取得し、取得した前記測定データから脳波パターンを判定する第３の処理部と、
   　判定された前記命令の種類と前記脳波パターンとからなるセットを学習データとして用いて命令推定モデルを生成し、生成された前記命令推定モデルを表すデータを記憶する第４の処理部と
   　を備えるブレインコンピュータインタフェース訓練システム。
2. 　前記行為センサは、前記ユーザの５本の手指のうち少なくとも２本の手指の動きを検出し、
   　前記第１の処理部は、前記行為を表す検出データをもとに前記ユーザが動かした前記手指を判定して、判定した前記手指に対応する前記命令の種類を判定する、
   　請求項１に記載のブレインコンピュータインタフェース訓練システム。
3. 　前記刺激デバイスは、視覚刺激、聴覚刺激、接触刺激、嗅覚刺激および味覚刺激のうち少なくとも２つの刺激を発生する、請求項１に記載のブレインコンピュータインタフェース訓練システム。
4. 　脳波を使用してコンピュータを操作するブレインコンピュータインタフェースを訓練するブレインコンピュータインタフェース訓練装置であって、
   　ユーザが想起する命令に対応する行為を表すデータを取得し、取得した前記行為を表すデータをもとに対応する前記命令の種類を判定する第１の処理部と、
   　判定された前記命令の種類に予め対応付けられた感覚刺激を選択し、選択した前記感覚刺激を前記ユーザに付与するための処理を実行する第２の処理部と、
   　前記感覚刺激を付与したときの前記ユーザの脳波パターンを取得する第３の処理部と、
   　判定された前記命令の種類と取得された前記脳波パターンとからなるセットを学習データとして用いて命令推定モデルを生成し、生成された前記命令推定モデルを記憶する第４の処理部と
   　を備えるブレインコンピュータインタフェース訓練装置。
5. 　前記第１の処理部は、前記ユーザが想起する前記命令に対応する前記行為として、前記ユーザの５本の手指のうち少なくとも２本の手指の動きを表す測定データを取得し、取得した前記測定データをもとに対応する前記命令の種類を判定する、請求項４に記載のブレインコンピュータインタフェース訓練装置。
6. 　前記第２の処理部は、視覚刺激、聴覚刺激、接触刺激、嗅覚刺激および味覚刺激のうち少なくとも２つの刺激の中から、前記命令の種類に予め対応付けられた前記感覚刺激を選択し、選択した前記感覚刺激を前記ユーザに付与するための処理を実行する、請求項４に記載のブレインコンピュータインタフェース訓練装置。
7. 　脳波を使用してコンピュータを操作するブレインコンピュータインタフェースを、情報処理装置を用いて訓練するブレインコンピュータインタフェース訓練方法であって、
   　前記情報処理装置が、ユーザが想起する命令に対応する行為を表す測定データを取得し、取得した前記測定データをもとに対応する前記命令の種類を判定する過程と、
   　前記情報処理装置が、判定された前記命令の種類に予め対応付けられた感覚刺激を選択し、選択した前記感覚刺激を前記ユーザに付与するための処理を実行する過程と、
   　前記情報処理装置が、前記感覚刺激を付与したときの前記ユーザの脳波パターンを取得する過程と、
   　前記情報処理装置が、判定された前記命令の種類と取得された前記脳波パターンとからなるセットを学習データとして用いて命令推定モデルを生成し、生成された前記命令推定モデルを記憶する過程と
   　を実行するブレインコンピュータインタフェース訓練方法。
8. 　請求項４乃至６の何れかに記載のブレインコンピュータインタフェース訓練装置が備える前記第１の処理部、前記第２の処理部、前記第３の処理部および前記第４の処理部が行う処理の少なくとも１つを、前記ブレインコンピュータインタフェース訓練装置が備えるプロセッサに実行させるプログラム。