JP7570687B2 - 評価装置、評価方法、及び評価プログラム - Google Patents

Description

特許法第３０条第２項適用 （１）発行日 ２０２０年２月２０日 （２）刊行物名：情報処理学会第８２回全国大会講演論文集、「ＣＴＣとＡｔｔｅｎｔｉｏｎの併用による咀嚼と嚥下の自動検出」 該当ページ：２－２０５～２－２０６ 発行元：一般社団法人情報処理学会

特許法第３０条第２項適用 （１）開催日 ２０２０年３月５日～７日（発表日：２０２０年３月６日） （２）集会名：情報処理学会創立６０周年記念 第８２回全国大会（オンライン開催）

特許法第３０条第２項適用 （１）発行日 ２０２０年３月１０日 （２）刊行物名：２０２０ ＩＥＥＥ ２ｎｄ Ｇｌｏｂａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｉｆｅ Ｓｃｉｅｎｃｅｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ（ＬｉｆｅＴｅｃｈ ２０２０）、”Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｃｔｉｏｎ ｏｆ ｔｈｅ Ｃｈｅｗｉｎｇ Ｓｉｄｅ Ｕｓｉｎｇ Ｔｗｏ－ｃｈａｎｎｅｌ Ｒｅｃｏｒｄｉｎｇｓ ｕｎｄｅｒ ｔｈｅ Ｅａｒ” 該当ページ：ｐ．８２－８３ 発行元：ＩＥＥＥ

特許法第３０条第２項適用 （１）開催日 ２０２０年３月１０日～１２日（発表日：２０２０年３月１０日） （２）集会名：２０２０ ＩＥＥＥ ２ｎｄ Ｇｌｏｂａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｉｆｅ Ｓｃｉｅｎｃｅｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ（ＬｉｆｅＴｅｃｈ２０２０） 開催場所：メルパルク京都（京都府京都市下京区東洞院通七条下ル東塩小路町６７６番１３）

本発明は、ユーザにおける咽喉マイクの装着位置を評価する評価装置、評価方法、及び評価プログラムに関する。

「食べること」は人の健康維持においてとても重要な行動であり、特に、高齢者にとっては咀嚼から嚥下に至る一連の動作の維持が健康の維持に大切であることが知られている。このような背景において、従来からユーザの咀嚼の状態を自動的に検出する装置が用いられている。例えば、メガネ型装着部に取り付けられたセンサユニットを用いて、咀嚼動作に伴う耳周辺部の動きおよび耳周辺部に伝わる咀嚼動作音を計測することにより、利用者の咀嚼動作を判定するシステムが知られている（下記特許文献１参照。）。また、ユーザに取り付けられたマイクにより、あごの関節の動きにより発生する音等を検出し、検出結果を基に咀嚼回数を表示する装置も知られている（下記特許文献２参照。）。

特開２０１６－９３２５５号公報 特開平１１－１２３１８５号公報

上述したような従来の咀嚼状態の検出技術においては、嚥下に至るまでの間に咀嚼によって食物の粉砕が十分に行われた状態を検出することは困難であった。すなわち、ユーザによるその都度の咀嚼の回数を検出することはできるが、食物が十分に噛み砕かれて粉砕された状態およびその粉砕完了のタイミングを検出することはできない傾向にあった。

そこで、本発明は、かかる課題に鑑みてなされたものであり、嚥下に至る前での食物の粉砕状態を適切に評価することが可能な評価装置、評価方法、及び評価プログラムを提供することを課題とする。

本発明の一側面は、ユーザに対して首の右側及び左側に装着された一対の皮膚接触型マイクによって取得された音声信号を基に、ユーザによる食物の粉砕状態を評価する評価装置であって、一対の皮膚接触型マイクからの一対の音声信号を基に時系列の特徴量を抽出する抽出部と、特徴量が入力されて、右寄りの咀嚼及び左寄りの咀嚼を少なくとも含む咀嚼発生のイベント毎の尤度と、イベントの発生がないブランク部の尤度とを、時系列に出力する学習モデルによって構成される識別器と、識別器から出力された、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの尤度と、ブランク部の尤度とを比較した計算結果を基に、ユーザによる食物粉砕の完了を判定する判定部と、を備える。

あるいは、本発明の他の側面は、ユーザに対して首の右側及び左側に装着された一対の皮膚接触型マイクによって取得された音声信号を基に、ユーザによる食物の粉砕状態を評価するコンピュータによる評価方法であって、一対の皮膚接触型マイクからの一対の音声信号を基に時系列の特徴量を抽出する抽出ステップと、特徴量を学習モデルに入力し、右寄りの咀嚼及び左寄りの咀嚼を少なくとも含む咀嚼発生のイベント毎の尤度と、イベントの発生がないブランク部の尤度とを、学習モデルから時系列に出力する出力ステップと、出力ステップにおいて出力された、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの尤度と、ブランク部の尤度とを比較した計算結果を基に、ユーザによる食物粉砕の完了を判定する判定ステップと、を備える。

あるいは、本発明の他の側面は、ユーザに対して首の右側及び左側に装着された一対の皮膚接触型マイクによって取得された音声信号を基に、ユーザによる食物の粉砕状態を評価するための評価プログラムであって、コンピュータを、一対の皮膚接触型マイクからの一対の音声信号を基に時系列の特徴量を抽出する抽出部、特徴量が入力されて、右寄りの咀嚼及び左寄りの咀嚼を少なくとも含む咀嚼発生のイベント毎の尤度と、イベントの発生がないブランク部の尤度とを、時系列に出力する学習モデルによって構成される識別器、及び識別器から出力された、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの尤度と、ブランク部の尤度とを比較した計算結果を基に、ユーザによる食物粉砕の完了を判定する判定部、として機能させる。

上記いずれかの側面によれば、ユーザの首の右側及び左側に装着された一対の皮膚接触型マイクからの音声信号を基に時系列の特徴量が抽出され、抽出された特徴量が学習モデルに入力されることにより、咀嚼発生のイベント毎の尤度と、ブランク部の尤度とが時系列に出力され、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの尤度と、ブランク部の尤度とを比較することにより、ユーザによる食物粉砕の完了が判定される。このようにすることにより、ユーザにより嚥下に至るまでの間で、食物等が十分に咀嚼されて粉砕が完了したタイミングを適切に評価することができる。

上記一側面においては、学習モデルは、時系列の特徴量が入力されてイベントごと及びブランク部の尤度を時系列に出力する第１のモデルと、第１のモデルの出力に接続されて、第１のモデルから出力された連続する同一のイベントの重複の除去と、第１のモデルから出力されたブランク部の除去とを行う第２のモデルとを含む、ことが好適である。かかる構成の学習モデルには、イベント毎の尤度を時系列に出力する第１のモデルと、第１のモデルからの出力を基にイベントの尤度を当該イベントの発生毎に出力する第２のモデルを含んでいる。このような学習モデルを用いることで、教師データを用いた学習モデルのトレーニングを、ユーザの咀嚼時の音声信号にイベントの発生毎のそのイベントを示すラベルを順番に付しただけのデータ（弱ラベル）を用いて行うことができる。そのため、学習モデルの構築を効率的に実行することができ、結果として、ユーザによる食物粉砕の完了の判定精度を向上させることができる。

また、抽出部は、一対の音声信号の合成信号を対象にスペクトル分析を行うことにより特徴量を抽出する、ことが好適である。このような特徴量を用いることにより、一対の皮膚接触型マイクによって取得された音声信号の合成信号のスペクトル分析結果を基にイベントの尤度を推定することができ、ユーザによる食物粉砕の完了の判定精度をより高めることができる。

また、抽出部は、一対の音声信号の相互相関値を計算することにより特徴量をさらに抽出する、ことが好適である。このような特徴量を用いることにより、一対の皮膚接触型マイクによって取得された音声信号の相互相関を基にイベントの尤度を推定することができ、ユーザによる食物粉砕の完了の判定精度をより高めることができる。

また、判定部は、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの対数尤度の最大値から、ブランク部の対数尤度を引いた値を基に、ユーザによる食物粉砕の完了を判定する、ことも好適である。この場合、学習モデルの出力を基に、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの対数尤度の最大値から、ブランク部の対数尤度を引いた値を用いることにより、ユーザによる食物粉砕の完了が判定される。このようにすることにより、ユーザにより嚥下に至るまでの間で、食物等が十分に噛み砕かれて粉砕された状態およびその粉砕完了のタイミングをより適切に評価することができる。

さらに、判定部は、第１のモデルの出力したイベントごとの尤度を基に、食物粉砕の完了を判定する、ことも好適である。この場合、第１のモデルから時系列に出力されたイベントごとの尤度を用いることにより、食物粉砕が完了したタイミングをより適切に評価することができる。

また、判定部は、識別器から出力された、右寄りの咀嚼のイベント、左寄りの咀嚼のイベント、及びブランク部の尤度を所定期間で平均化した値を用いて計算結果を取得する、ことも好適である。このように平均化した値を用いて判定することにより、食物粉砕が完了したタイミングを安定して評価することができる。

またさらに、学習モデルは、第１のモデルの出力に接続されて、第１のモデルから出力された時系列のイベントごとの尤度を基に、咀嚼発生のイベントの尤度を当該イベントの発生毎に出力する第３のモデルをさらに含み、第２のモデルの出力と第３のモデルの出力とを加味したイベント毎の尤度を出力する、ことも好適である。かかる学習モデルを用いることにより、咀嚼に関するイベント毎の尤度を、当該イベントの発生毎に高精度に出力できる。その結果、このような学習モデルのトレーニングを行って学習モデルを構築することにより、ユーザによる食物粉砕の完了の判定精度をさらに向上させることができる。

本発明の一側面によれば、嚥下に至る前での食物の粉砕状態を適切に評価することができる。

実施形態にかかる評価装置１の概略構成を示すブロック図である。 図１の評価制御１のハードウェア構成を示す図である。 図１の識別器１２が用いる学習モデルの機能構成を示すブロック図である。 図１の評価装置１における事前学習処理における動作手順を示すフローチャートである。 図１の評価装置１におけるイベント評価処理における動作手順を示すフローチャートである。 実施形態の評価プログラムの構成を示すブロック図である。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。

図１は、実施形態の評価装置１の概略構成を示すブロック図である。図１に示されるように、評価装置１は、ユーザの咽喉部における咽喉マイク（皮膚接触型マイク）Ｍ１によって取得された音声信号を基にユーザによる食物等の咀嚼の状態を評価するための装置である。評価装置１は、咽喉マイクＭ１に備えられる一対のマイクＭ１Ｒ，Ｍ１Ｌからアナログ信号である音声信号を、ケーブルを介して受信可能に構成され、一対のマイクＭ１Ｒ，Ｍ１Ｌから受信した音声信号を用いて評価処理を実行し、評価処理の結果を出力および記憶する機能を有する。ただし、評価装置１は、ブルートゥース（登録商標）、無線ＬＡＮ等の無線信号を用いて、咽喉マイクＭ１から音声信号を受信可能に構成されていてもよい。咽喉マイクＭ１は、ユーザの首の咽喉付近の皮膚に接触させて装着され、ユーザによる食物摂取時の咀嚼、嚥下等の動作に応じた皮膚の振動を検出して動作に対応した音声信号を生成する皮膚接触型の検出機器である。咽喉マイクＭ１を構成する一対のマイクＭ１Ｒ，Ｍ１Ｌとしては、ピエゾ素子を内蔵したもの、あるいは、コンデンサマイクを内蔵したもの等が用いられる。これらの一対のマイクＭ１Ｒ，Ｍ１Ｌは、それぞれ、咽喉マイクＭ１がユーザに装着された際に、ユーザの首の咽喉付近の右側及び左側の皮膚の振動を検出する。

ここで、評価装置１は、機能的な構成要素として、特徴量抽出部１１、識別器１２、判定部１３、及び、トレーニング部１４を含んで構成されている。

図２は、評価装置１のハードウェア構成を示すブロック図である。図２に示すように、評価装置１は、スマートフォン、タブレット端末、コンピュータ端末等に代表される演算装置５０によって実現される。演算装置５０は、物理的には、プロセッサであるＣＰＵ（Central Processing Unit）１０１、記録媒体であるＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３、通信モジュール１０４、及び入出力デバイス等を含んだコンピュータ等であり、各々は内部で電気的に接続されている。入出力デバイス１０５は、キーボード、マウス、ディスプレイ装置、タッチパネルディスプレイ装置、スピーカ等である。上述した評価装置１の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上に実施形態の評価プログラムを読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力デバイス１０５等を動作させるとともに、ＲＯＭからのデータの読み出し、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。

以下、図１に戻って、評価装置１の各機能部の機能について詳細に説明する。

特徴量抽出部１１は、咽喉マイクＭ１を構成するマイクＭ１Ｒ，Ｍ１Ｌのそれぞれから同時に音声信号を受信し、それぞれの音声信号をＡ／Ｄ変換する。以下では、マイクＭ１Ｒから受信した音声信号を右側音声信号、マイクＭ１Ｌから受信した音声信号を左側音声信号とも呼ぶものとする。そして、特徴量抽出部１１は、右側音声信号及び左側音声信号を対象に、ウィンドウ幅８０ｍｓｅｃの時間ウィンドウ（フレーム）を４０ｍｓｅｃでシフトさせながら設定し、時間ウィンドウ毎の特徴量を時系列に抽出する。詳細には、特徴量抽出部１１は、右側音声信号と左側音声信号を合成した上で、その結果得られた合成信号のスペクトルの特徴を表現するスペクトル特徴量を、スペクトル分析を実行することにより抽出する。同時に、特徴量抽出部１１は、右側音声信号と左側音声信号との相互相関値を特徴量として抽出する。

このスペクトル特徴量は、スペクトルの特徴を表現するものであれば特定のものには限定されないが、例えば、スペクトルをフーリエ変換して得られるケプストラム、メルケプストラム等の音声スペクトルの概形を表すケプストラムが挙げられる。例えば、本実施形態では、１３次元のＭＦＣＣ（Mel Frequency Cepstral Coefficient）が算出され、それらの時間変化量（前後３フレームのケプストラムの各次元における変化量）である１３次元のΔ値と、１３次元のΔ値の変化量である１３次元のΔΔ値と、がさらに付加された合計３９次元のスペクトル特徴量が抽出される。また、本実施形態では、相互相関値として、右側音声信号と左側音声信号との間がサンプリング点を７種類でシフトされた後に（１６ＫＨｚのサンプリング周波数、８０ｍｓｅｃの時間ウィンドウの場合、サンプリング点が１２８０点の２つの信号を－３点～＋３点で互いにシフトさせる。）、それらの互いの相互相関値が計算される結果、７次元の相互相関値が抽出される。

識別器１２は、特徴量抽出部１１から時系列に入力される時間ウィンドウ毎の多次元の特徴量を順次処理して、咀嚼及び嚥下に関するイベント毎の尤度を時系列に出力する。すなわち、識別器１２は、時間ウィンドウ毎の特徴量として、スペクトル特徴量及び相互相関値が入力され、それらを処理することにより、咀嚼発生の複数のイベント毎の尤度、嚥下発生のイベントの尤度、及びイベントの発生がないことを示すブランク部の尤度を少なくとも出力する。咀嚼発生の複数のイベントとしては、ユーザの顎の右寄りでの咀嚼のイベントを示す「右寄りの咀嚼」、ユーザの顎の左寄りでの咀嚼のイベントを示す「左寄りの咀嚼」、及び、ユーザの顎の前寄りでの咀嚼のイベントを示す「前寄りの咀嚼」が少なくとも含まれる。

上記機能を実現するために、識別器１２は、深層ニューラルネットワークによる学習モデルを用いる。図３には、識別器１２が用いる学習モデル２０の機能構成を示している。学習モデル２０は、３つのモデルが相互に入出力が接続されて組み合わされたハイブリッドモデルであり、ＬＳＴＭ（Long Short-term Memory）モデル（第１のモデル）２１と、ＣＴＣ（Connectionist Temporal Classification）モデル（第２のモデル）２２と、アテンション（Attention）モデル２３（第３のモデル）とを含んでいる。

ＬＳＴＭモデル２１は、深層ニューラルネットワークであるＲＮＮ（Recurrent Neural Network）の一種であり、連続する時間ウィンドウの時系列の特徴量の入力を受けて、上述した複数のイベント毎の尤度を時系列に生成して出力することができる。例えば、ＬＳＴＭモデル２１は、イベント「右寄りの咀嚼」の尤度Ｌ_{Ｒｉｇｈｔ}、イベント「左寄りの咀嚼」の尤度Ｌ_Ｌｅｆｔ、イベント「前寄りの咀嚼」の尤度Ｌ_{Ｆｒｏｎｔ}、嚥下発生のイベントの尤度Ｌ_{Ｓｗａｌｌｏｗ}、及び、それらのイベントの発生のないことを示すブランク部のイベントの尤度Ｌ_{Ｂｌａｎｋ}を時系列に生成して出力する。このようなＬＳＴＭモデル２１の機能により、音声信号の時間ウィンドウのタイミング毎に、各イベントの起こりうる確率を評価することができる。

ＣＴＣモデル２２は、ＬＳＴＭモデル２１の後段に接続され、“A. Graveset al., “Connectionist temporal classification: Labelling unsegmentedsequence data with recurrent neural networks,” Proc. ICML, pp.369-376(2006)”に記載された既知のニューラルネットワークのアルゴリズムを有する学習モデルである。このＣＴＣモデル２２は、ＬＳＴＭモデル２１から時系列に複数のイベント毎の尤度が入力され、咀嚼発生のイベントあるいは嚥下発生のイベントの時間的な重複の除去と、ブランク部のイベントの除去とを行って、咀嚼発生のイベントあるいは嚥下発生のイベントの尤度を、それらのイベントの発生タイミング毎に出力する学習モデルである。具体的には、ＣＴＣモデル２２は、ある時間ウィンドウのタイミングにおいてブランク部のイベントの尤度Ｌ_{Ｂｌａｎｋ}が最大である場合には、その組み合わせを除去し、連続した時間ウィンドウのタイミングにおいて同じイベントの尤度が最大である場合には、後続のタイミングにおける組み合わせを除去しする。

アテンションモデル２３は、ＣＴＣモデル２２と並列になるようにＬＳＴＭモデル２１の後段に接続され、“Neural Machine Translation by Jointly Learning to Align andTranslate (Bahdanau et al, 2015)”に記載された既知のニューラルネットワークのアルゴリズムを有するデコーダモデルである。このアテンションモデル２３は、ＬＳＴＭモデル２１と組み合わされてエンコーダ・デコーダモデルを構成する。詳細には、アテンションモデル２３は、連続した時間ウィンドウの各イベントの尤度の出力を受けた場合には、イベント間の関係性や全体のコンテキストを考慮して出力を決定することにより、イベントの発生タイミング毎に各イベント毎の尤度を出力する。

上記構成の識別器１２は、最終出力として、ＣＴＣモデル２２の出力とアテンションモデル２３の出力とを加味した出力を生成する。すなわち、識別器１２は、イベントの発生タイミング毎に、２つのモデルから出力された各イベントの尤度（対数尤度）を重み付け加算した尤度を生成し出力する。

判定部１３は、識別器１２のＬＳＴＭモデル２１の出力を基に、ユーザによる食物粉砕の完了を判定する処理を実行する。すなわち、判定部１３は、ＬＳＴＭモデル２１から出力された、イベント「右寄りの咀嚼」の尤度Ｌ_{Ｒｉｇｈｔ}、及びイベント「左寄りの咀嚼」の尤度Ｌ_Ｌｅｆｔと、ブランク部のイベントの尤度Ｌ_{Ｂｌａｎｋ}とを比較した計算結果を基に、食物粉砕の完了を判定する。その際、判定部１３は、連続した時間ウィンドウのそれぞれの尤度Ｌ_{Ｒｉｇｈｔ}，Ｌ_Ｌｅｆｔ，Ｌ_{Ｂｌａｎｋ}を対数値ＬＬ_{Ｒｉｇｈｔ}，ＬＬ_Ｌｅｆｔ，ＬＬ_{Ｂｌａｎｋ}に変換するとともに、それらの値を所定時間分（例えば、１秒間分）平均化した値を用い、下記式を計算することによって粉砕完了度Ｃ（ｔ）を計算する。判定部１３は、粉砕完了度Ｃ（ｔ）を、逐次一定時間毎（例えば４０ｍｓｅｃ毎）に計算する。下記式における関数ｍａｘ（ｘ、ｙ）は、値ｘと値ｙのうちの最大値を表す。
C(t) = max(LL_Left(t), LL_Right(t))- LL_Blank(t)
そして、判定部１３は、上記式により、対数尤度ＬＬ_{Ｒｉｇｈｔ}，ＬＬ_Ｌｅｆｔのうちの最大値から、対数尤度ＬＬ_{Ｂｌａｎｋ}を引いた値を計算した粉砕完了度Ｃ（ｔ）が、所定値（例えば、ゼロ）を下回ったタイミングを、食物粉砕完了のタイミングとして判定し、そのタイミングの判定結果を入出力デバイス１０５等に出力する。また、判定部１３は、粉砕完了のタイミングの他、学習モデル２０の最終出力を基にその他のイベントの発生タイミングを併せて検出し、それらの検出結果を出力してもよい。例えば、ユーザが咀嚼を止めた場合に粉砕完了と誤認識されることを防止するために、判定部１３は、咀嚼に関するイベントが検出され、かつ、粉砕完了度Ｃ（ｔ）が所定値を下回ったタイミングを食物粉砕完了のタイミングとして判定してその判定結果を出力することができる。このとき、判定部１３は、イベントの発生タイミングを視覚的に認識可能にディスプレイ等に出力してもよいし、その発生タイミングをユーザの聴覚によって認識可能なようにスピーカ等を用いて音声出力してもよい。

トレーニング部１４は、識別器１２の使用する学習モデルをトレーニングにより構築する機能を有する。すなわち、トレーニング部１４は、特徴量抽出部１１によって咽喉マイクＭ１から受信された音声信号から抽出された時系列の特徴量に、ユーザから入出力デバイス１０５等を介して受け付けたイベントを特定するデータを時系列のラベルとして付加し、ラベルが付加された時系列の特徴量をデータセット（訓練データ）として用いて学習モデルのトレーニングを実行する。このトレーニングは、例えば、誤差逆伝搬法を用いて、学習モデルを構成するニューラルネットワークの各層の各パラメータを更新することにより実行される。このとき、データセットに付加される時系列のラベルは、ユーザによって認識されたイベントを順番に特定するものであり、例えば、「左寄りの咀嚼」、「左寄りの咀嚼」、「右寄りの咀嚼」、…、「嚥下」、のようにイベントを特定するデータを、発生した順番に含む。また、トレーニングは、ハイブリッドモデルである学習モデル２０の最終出力を対象に実行される。

次に、上述した評価装置１の事前学習処理における動作およびイベント評価処理における動作を説明するとともに、実施形態に係る評価方法の流れについて詳述する。図４は、評価装置１における事前学習処理における動作手順を示すフローチャートであり、図５は、評価装置１におけるイベント評価処理における動作手順を示すフローチャートである。

最初に、イベント評価処理を実行する前の任意のタイミングでユーザによって咽喉マイクＭ１が装着された状態で事前学習処理が開始される。この事前学習処理は、イベント評価処理を実行する度にイベント評価処理の対象のユーザによって毎回実行される必要はなく、評価装置１の提供者等の対象のユーザ以外のユーザが咽喉マイクＭ１を装着した上で実行されてもよい。事前学習処理が開始されると、ユーザによる食物の摂取時に評価装置１によって咽喉マイクＭ１から音声信号が受信され、特徴量抽出部１１によって、それらの音声信号がＡ／Ｄ変換されるとともに、ユーザから評価装置１にイベントを特定するデータが順番に入力される（ステップＳ０１）。次に、特徴量抽出部１１によって、咽喉マイクＭ１から得られた音声信号から時系列の特徴量が抽出される（ステップＳ０２）。その後、トレーニング部１４によって、時系列の特徴量に時系列のイベントを特定する時系列のラベルが付加されたデータセットが生成され、データセットを用いて識別器１２の使用する学習モデル２０のトレーニングが実行される（ステップＳ０３）。そして、トレーニング部１４により、トレーニングによりパラメータが更新された学習モデル２０が内部メモリに記憶される（ステップＳ０４）。

図４に移って、イベント評価処理の流れについて説明する。このイベント評価処理は、ユーザによって咽喉マイクＭ１が装着されて食物の摂取が開始された後に、評価装置１に対する指示入力に応じてその都度開始される。

最初に、ユーザによる食物の摂取時に評価装置１によって咽喉マイクＭ１から音声信号が受信され、特徴量抽出部１１によって、右側音声信号及び左側音声信号がＡ／Ｄ変換される（ステップＳ１０１）。次に、特徴量抽出部１１によって、連続する時間ウィンドウにおいてＡ／Ｄ変換された右側音声信号及び左側音声信号を基に、時系列の特徴量が抽出される（ステップＳ１０２）。その後、識別器１２によって学習モデル２０の入力に対して時系列の特徴量が順次入力される（ステップＳ１０３）。

その結果、識別器１２によって、ＬＳＴＭモデル２１の出力として、イベント毎の尤度が、時間ウィンドウ毎に出力される（ステップＳ１０４）。さらに、判定部１３によって、イベント「右寄りの咀嚼」の対数尤度ＬＬ_{Ｒｉｇｈｔ}と、イベント「左寄りの咀嚼」の対数尤度ＬＬ_Ｌｅｆｔと、ブランク部のイベントの対数尤度ＬＬ_{Ｂｌａｎｋ}とが計算され、それぞれの対数尤度を所定時間分（例えば、１秒間分）平均化した値が計算される（ステップＳ１０５）。ここでの対数尤度の平均化は、平均化の期間を所定数（例えば、１つ）の時間ウィンドウ分ずらしながら連続して行われる。そして、判定部１３によって、平均化された対数尤度ＬＬ_Ｌｅｆｔ及び対数尤度ＬＬ_{Ｂｌａｎｋ}と、対数尤度ＬＬ_{Ｂｌａｎｋ}とを比較した粉砕完了度Ｃ（ｔ）が計算される（ステップＳ１０６）。この粉砕完了度Ｃ（ｔ）は、平均化の期間毎に（例えば、４０ｍｓｅｃずつずらされた期間毎に）繰り返し計算される。

次に、判定部１３によって、計算された時系列の粉砕完了度Ｃ（ｔ）と所定の閾値とが比較される（ステップＳ１０７）。比較の結果、粉砕完了度Ｃ（ｔ）が閾値を下回ったと判断された場合には（ステップＳ１０７；Ｙｅｓ）、判定部１３により、食物粉砕完了のタイミングがその粉砕完了度Ｃ（ｔ）の計算対象の時間のタイミングとして検出され、そのタイミングが入出力デバイス１０５等に出力される（ステップＳ１０８）。さらに、判定部１３により、時系列の特徴量が入力された学習モデル２０の最終出力を基に、各イベントの発生タイミングが検出され、それらの発生タイミングの検出結果が入出力デバイス１０５等に出力される（ステップＳ１０９）。このとき、ユーザが咀嚼を止めた場合に粉砕完了と誤認識されることを防止するために、咀嚼に関するイベントが検出され、かつ、粉砕完了度Ｃ（ｔ）が所定値を下回ったタイミングが、食物粉砕完了のタイミングとして検出されて、その検出の結果が出力されてもよい。

次に、図６を参照して、コンピュータを上記評価装置１として機能させるための評価プログラムを説明する。

評価プログラムＰ１は、メインモジュールＰ１０、特徴量抽出モジュールＰ１１、識別モジュールＰ１２、判定モジュールＰ１３、及び、トレーニングモジュールＰ１４を備えている。

メインモジュールＰ１０は、評価装置１の動作を統括的に制御する部分である。特徴量抽出モジュールＰ１１、識別モジュールＰ１２、判定モジュールＰ１３、及び、トレーニングモジュールＰ１４を実行することにより実現される機能は、それぞれ、特徴量抽出部１１、識別器１２、判定部１３、及びトレーニング部１４の機能と同様である。

評価プログラムＰ１は、例えば、ＣＤ－ＲＯＭ、ＤＶＤもしくはＲＯＭ等のコンピュータ読み取り可能な記録媒体または半導体メモリによって提供される。また、評価プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。

上述した評価装置１によれば、ユーザの首の右側及び左側に装着された一対のマイクＭ１Ｒ，Ｍ１Ｌを含む咽喉マイクＭ１からの音声信号を基に時系列の特徴量が抽出され、抽出された特徴量が学習モデル２０に入力されることにより、咀嚼発生のイベント毎の尤度と、ブランク部のイベントの尤度とが時系列に出力され、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの尤度と、ブランク部の尤度とを比較することにより、ユーザによる食物粉砕の完了が判定される。このようにすることにより、ユーザにより嚥下に至るまでの間で、食物等が十分に咀嚼されて粉砕が完了したタイミングを適切に評価することができる。このとき、イベントの尤度を推定する学習モデル２０は、イベント毎の尤度を時系列に出力するＬＳＴＭモデル２１と、ＬＳＴＭモデル２１からの出力を基に咀嚼発生のイベントの尤度を当該イベントの発生毎に出力するＣＴＣモデル２２を含んでいる。このような学習モデル２０を用いることで、教師データを用いた学習モデル２０のトレーニングを、ユーザの咀嚼時の音声信号にイベントの発生毎のそのイベントを示すラベルを順番に付しただけのデータ（弱ラベル）を用いて行うことができる。そのため、学習モデル２０の構築を効率的に実行することができ、結果として、ユーザによる食物粉砕の完了の判定精度を向上させることができる。

従来、摂食嚥下の診療に関わる医師あるいは歯科衛生士は、咀嚼の質を判断する手段を持ち合わせておらず、その代わりに、咀嚼の能力として、間接的に、粉砕する力、噛み合わせ状態、舌圧などを測定したり、咀嚼の回数を測定したりしていた。ユーザにとって摂食時には十分な回数の咀嚼を行って適切な食塊を形成するのが重要であることは知られていたが、食物の種類あるいは口腔機能によって咀嚼の適切な回数は変化し、咀嚼の回数の明確な基準は存在しない。本実施形態の評価装置１を用いれば、食材によらず十分な咀嚼が行われて適切な食塊が形成されたタイミングを知ることができ、これと嚥下の発生タイミングとを評価することで十分な咀嚼が行われた上で嚥下に至ったか否かを判断することができる。特に本実施形態では、咀嚼の有無だけでなく咀嚼位置を考慮した識別結果を利用して食物粉砕完了を判定している。このような判定により、食物粉砕完了の判定の精度が向上する。

一方で、学習モデルを用いた粉砕完了の判定の際には、ユーザに咀嚼が完了したタイミングを申告させ、その申告結果と音声信号とを用いて学習モデルを構築することも考えられるが、ユーザの負担が増加するうえにユーザ毎の主観に依存する判定となってしまうことから、多様な食材に対して安定した検出を行うには多くの学習データが必要になると予想される。これに対して、本実施形態では、咀嚼位置が曖昧となるタイミングを客観的に推定することにより、食材あるいはユーザによらない頑健な推定方法を提供することができる。

また、本実施形態においては、音声信号の合成信号を対象にスペクトル分析を行うことにより抽出した特徴量を用いている。これにより、ユーザによる食物粉砕の完了の判定精度をより高めることができる。また、上記特徴量には、右側音声信号と左側音声信号との相互相関値も含まれている。このような特徴量を用いることにより、ユーザによる食物粉砕の完了の判定精度をより高めることができる。

また、本実施形態の判定部１３は、右寄りの咀嚼のイベント及び左寄りの咀嚼のイベントの対数尤度の最大値から、ブランク部のイベントの対数尤度を引いた値を基に、ユーザによる食物粉砕の完了を判定している。この場合、ユーザにより嚥下に至るまでの間で、食物等が十分に噛み砕かれて粉砕された状態およびその食物粉砕が完了したタイミングをより適切に評価することができる。つまり、咀嚼が十分に完了したタイミングでは、ユーザにとって咀嚼位置が曖昧になり咀嚼位置の明確な識別ができないと考えられ、左右の咀嚼のどちらの尤度も十分大きな値を示さず、結果としてブランク部の尤度よりも小さくなるものと考えられる。判定部１３により、このようなタイミングを基に正確に食物粉砕完了のタイミングを判定することができる。

また、本実施形態の判定部１３は、ＬＳＴＭモデル２１の出力したイベントごとの尤度を基に、食物粉砕の完了を判定している。このような構成により、ＬＳＴＭモデル２１から時系列に出力されたイベントごとの尤度を用いることにより、食物粉砕が完了したタイミングをより適切に評価することができる。

また、本実施形態の判定部１３は、ＬＳＴＭモデル２１の出力した尤度を所定期間で平均化した値を用いて、ユーザによる食物粉砕の完了を判定している。このように平均化した値を用いて判定することにより、食物粉砕が完了したタイミングを安定して評価することができる。

また、本実施形態の識別器１２が用いる学習モデル２０は、ＬＳＴＭモデル２１の出力に接続されて、ＬＳＴＭモデル２１から出力された時系列のイベントごとの尤度を基に、咀嚼発生のイベントの尤度を当該イベントの発生毎に出力するアテンションモデル２３をさらに含み、ＣＴＣモデル２２の出力とアテンションモデル２３の出力とを加味したイベント毎の尤度を出力している。かかる学習モデル２０を用いることにより、咀嚼に関するイベント毎の尤度を、当該イベントの発生毎に高精度に出力できる。また、このような学習モデル２０のトレーニングを行う際には、ユーザから入力された時系列のイベントを特定するラベルを、音声信号に付加したデータを、訓練データとして用いることができる。これにより、トレーニング時のユーザの負担を軽減できるとともに、学習モデル２０を利用したユーザによる食物粉砕の完了の判定精度をさらに向上させることができる。

以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。

例えば、学習モデル２０は、ＬＳＴＭモデル２１とＣＴＣモデル２２とからのみ構成されていてもよい。この場合、トレーニング部１４は、ＣＴＣモデル２２の出力のみを用いて学習モデル２０をトレーニングすることができる。

１…評価装置、１１…特徴量抽出部、１２…識別器、１３…判定部、２０…学習モデル、２１…ＬＳＴＭモデル、２２…ＣＴＣモデル、２３…アテンションモデル、Ｍ１…咽喉マイク、Ｐ１…評価プログラム、Ｐ１１…特徴量抽出モジュール、Ｐ１２…識別モジュール、Ｐ１３…判定モジュール、Ｐ１４…トレーニングモジュール。

Claims (10)

1. ユーザに対して首の右側及び左側に装着された一対の皮膚接触型マイクによって取得された音声信号を基に、前記ユーザによる食物の粉砕状態を評価する評価装置であって、
   前記一対の皮膚接触型マイクからの一対の音声信号を基に時系列の特徴量を抽出する抽出部と、
   前記特徴量が入力されて、右寄りの咀嚼及び左寄りの咀嚼を少なくとも含む咀嚼発生のイベント毎の尤度と、イベントの発生がないブランク部の尤度とを、時系列に出力する学習モデルによって構成される識別器と、
   前記識別器から出力された、前記右寄りの咀嚼のイベント及び前記左寄りの咀嚼のイベントの前記尤度と、前記ブランク部の前記尤度とを比較した計算結果を基に、前記ユーザによる食物粉砕の完了を判定する判定部と、
   を備える評価装置。
2. 前記学習モデルは、
   時系列の前記特徴量が入力されて前記イベントごと及び前記ブランク部の前記尤度を時系列に出力する第１のモデルと、
   前記第１のモデルの出力に接続されて、前記第１のモデルから出力された連続する同一のイベントの重複の除去と、前記第１のモデルから出力された前記ブランク部の除去とを行う第２のモデルとを含む、
   請求項１に記載の評価装置。
3. 前記抽出部は、前記一対の音声信号の合成信号を対象にスペクトル分析を行うことにより前記特徴量を抽出する、
   請求項１又は２に記載の評価装置。
4. 前記抽出部は、前記一対の音声信号の相互相関値を計算することにより前記特徴量をさらに抽出する、
   請求項３に記載の評価装置。
5. 前記判定部は、前記右寄りの咀嚼のイベント及び前記左寄りの咀嚼のイベントの対数尤度の最大値から、前記ブランク部の対数尤度を引いた値を基に、前記ユーザによる食物粉砕の完了を判定する、
   請求項１～４のいずれか１項に記載の評価装置。
6. 前記判定部は、前記第１のモデルの出力した前記イベントごとの尤度を基に、前記食物粉砕の完了を判定する、
   請求項２に記載の評価装置。
7. 前記判定部は、前記識別器から出力された、前記右寄りの咀嚼のイベント、前記左寄りの咀嚼のイベント、及び前記ブランク部の前記尤度を所定期間で平均化した値を用いて前記計算結果を取得する、
   請求項１～６のいずれか１項に記載の評価装置。
8. 前記学習モデルは、
   前記第１のモデルの出力に接続されて、前記第１のモデルから出力された時系列の前記イベントごとの尤度を基に、前記咀嚼発生のイベントの尤度を当該イベントの発生毎に出力する第３のモデルをさらに含み、前記第２のモデルの出力と前記第３のモデルの出力とを加味した前記イベント毎の尤度を出力する、
   請求項２に記載の評価装置。
9. ユーザに対して首の右側及び左側に装着された一対の皮膚接触型マイクによって取得された音声信号を基に、前記ユーザによる食物の粉砕状態を評価するコンピュータによる評価方法であって、
   前記一対の皮膚接触型マイクからの一対の音声信号を基に時系列の特徴量を抽出する抽出ステップと、
   前記特徴量を学習モデルに入力し、右寄りの咀嚼及び左寄りの咀嚼を少なくとも含む咀嚼発生のイベント毎の尤度と、イベントの発生がないブランク部の尤度とを、学習モデルから時系列に出力する出力ステップと、
   前記出力ステップにおいて出力された、前記右寄りの咀嚼のイベント及び前記左寄りの咀嚼のイベントの前記尤度と、前記ブランク部の前記尤度とを比較した計算結果を基に、前記ユーザによる食物粉砕の完了を判定する判定ステップと、
   を備える評価方法。
10. ユーザに対して首の右側及び左側に装着された一対の皮膚接触型マイクによって取得された音声信号を基に、前記ユーザによる食物の粉砕状態を評価するための評価プログラムであって、
    コンピュータを、
    前記一対の皮膚接触型マイクからの一対の音声信号を基に時系列の特徴量を抽出する抽出部、
    前記特徴量が入力されて、右寄りの咀嚼及び左寄りの咀嚼を少なくとも含む咀嚼発生のイベント毎の尤度と、イベントの発生がないブランク部の尤度とを、時系列に出力する学習モデルによって構成される識別器、及び
    前記識別器から出力された、前記右寄りの咀嚼のイベント及び前記左寄りの咀嚼のイベントの前記尤度と、前記ブランク部の前記尤度とを比較した計算結果を基に、前記ユーザによる食物粉砕の完了を判定する判定部、として機能させる、
    評価プログラム。

Images