JP7706971B2 - 推定装置、推定方法、推定プログラム、及び学習モデル生成装置 - Google Patents

Description

本開示は、推定装置、推定方法、推定プログラム、及び学習モデル生成装置に関する。

従来、寝具上における人物の姿勢を同定するために、寝具に生じる形状変化を検出し、当該検出結果を用いて人物の姿勢を推定することが行われている。寝具に生じる形状変化を検出する側面では、寝具の変形を阻害せずに変形を検出することは困難である。また、金属変形等の剛体の検出に用いられる歪センサは寝具に利用困難なため、寝具の変形を検出するためには、特殊な検出装置が要求される。例えば、カメラによる物体の変位と振動を測定して、変形画像を取得し、変形量を抽出する技術が知られている（例えば、特許文献１参照）。また、光の透過量から変形量を推定する柔軟触覚センサに関する技術も知られている（例えば、特許文献２参照）。

また、人の睡眠時に様々な姿勢で睡眠する睡眠状態を推定する側面では、就寝者の心拍や呼吸に起因する振動を圧電素子等のセンサで検出し、検出した振動によって就寝者の睡眠状態を推定する技術が知られている（例えば、特許文献３参照）。

国際公開２０１７－０２９９０５号公報 特開２０１３－１０１０９６号公報 特開２００９－２９７４５５号公報

しかしながら、寝具に生じる形状変化を検出する側面では、カメラ及び画像解析手法を用いて物体の変位等の変形量を検出する場合、カメラ及び画像解析等を含むシステムは、大規模なものとなり、装置の大型化を招くので好ましくはない。また、カメラを用いた光学手法ではカメラに撮像されない隠れた部分の計測は出来ない。従って、寝具の変形を検出するのには改善の余地がある。

また、睡眠状態を推定する側面では、圧電素子等のセンサによって検出された振動を用いる場合、センサ自体が寝具の変形を阻害する虞がある。また、振動の検出では、寝具の変形に起因する睡眠状態を考慮できない虞もあり、睡眠状態を推定するのには改善の余地がある。特に、寝具で寝ている人物の動きを推定するのには改善の余地がある。

本開示は、特殊な検出装置を用いることなく、導電性を有する柔軟材料を備えた寝具の電気特性を利用して、人物の動きを示す動き情報を推定することができる推定装置、推定方法、推定プログラム、及び学習モデル生成装置を提供することを目的とする。

上記目的を達成するために、第１態様は、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える人物の動きを示す動き情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記動き情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する人物の動きを示す動き情報を推定する推定部と、
を含む推定装置である。

第２態様は、第１態様の推定装置において、
前記学習モデルは、検出された電気特性に対応する人物の姿勢の変化を示す情報を前記動き情報として出力するように学習される。

第３態様は、第１態様又は第２態様の推定装置において、
前記学習モデルは、検出された電気特性に対応する人物の呼吸状態の変化を示す情報を前記動き情報として出力するように学習される。

第４態様は、第１態様～第３態様の何れか１態様の推定装置において、
前記人物の動きは、前記人物の睡眠状態における動きを含む。

第５態様は、第１態様～第４態様の何れか１態様の推定装置において、
前記電気特性は、体積抵抗であり、
前記寝具は、マットレスを含み、
前記柔軟材料は、繊維状及び網目状の少なくとも一方の骨格を有する構造、又は、内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料である。

第６態様は、第１態様～第５態様の何れか１態様の推定装置において、
前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。

第７態様は、
コンピュータが、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える人物の動きを示す動き情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記動き情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する人物の動きを示す動き情報を推定する
推定方法である。

第８態様は、
コンピュータに、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える人物の動きを示す動き情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記動き情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する人物の動きを示す動き情報を推定する
処理を実行させるための推定プログラムである。

第９態様は、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部からの前記電気特性と、前記柔軟材料に圧力を与える人物の動きを示す動き情報と、を取得する取得部と、
前記取得部の取得結果に基づいて、前記柔軟材料に圧力を与えた際の時系列の電気特性を入力し、前記柔軟材料に圧力を与える人物の動きを示す動き情報を出力する学習モデルを生成する学習モデル生成部と、
を含む学習モデル生成装置である。

本開示によれば、特殊な検出装置を用いることなく、導電性を有する柔軟材料を備えた寝具の電気特性を利用して、人物の動きを示す動き情報を推定することができる、という効果を有する。

実施形態に係る動き推定装置の構成の一例を示す図である。 実施形態に係る寝具に関する図である。 実施形態に係る導電性を有する部材の検出点に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る学習処理に関する図である。 実施形態に係る学習データ収集処理の一例を示すフローチャートである。 実施形態に係る寝具に関係する特性を示す図である。 実施形態に係る寝具に関係する別の特性を示す図である。 実施形態に係る寝具に関係する更に別の特性を示す図である。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係る学習処理の流れの一例を示すフローチャートである。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係る動き推定装置の構成の一例を示す図である。 実施形態に係る推定処理の流れの一例を示すフローチャートである。

以下、図面を参照して本開示の技術を実現する実施形態を詳細に説明する。
なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。また、本開示は、以下の実施形態に何ら限定されるものではなく、本開示の目的の範囲内において、適宜変更を加えて実施することができる。また、本開示では、主として非線形に変形する部材に対する物理量の推定を説明するが、線形に変形する部材に対する物理量の推定に適用可能であることは言うまでもない。

本開示において「寝具」とは、外部力が与えられることによって少なくとも一部が撓み等のように変形可能な柔軟材料を含み、人物が寝るときに用いられる用具を表す概念である。寝具の一例にはマットレスが挙げられる。外部力の一例には、寝具に与えられる刺激として圧力が挙げられる。「人物の動き」とは、人物が寝具上で寝ている状態で柔軟材料に圧力を与えて柔軟材料を変化させる人物の姿勢（寝姿勢）の変化、呼吸状態の変化を含む概念である。なお、人物が寝ている状態は、就寝時における就寝者等の睡眠状態を含む。

本開示において「柔軟材料」とは、外部力が与えられることによって少なくとも一部が撓み等のように変形可能な材料を含む概念であり、ゴム材料等の柔らかい弾性体、繊維状及び網目状の少なくとも一方の骨格を有する構造体、及び内部に微小な空気泡が複数散在する構造体を含む。外部力の一例には圧力が挙げられる。繊維状及び網目状の少なくとも一方の骨格を有する構造体、及び内部に微小な空気泡が複数散在する構造体の一例には、ウレタン材などの高分子材料が挙げられる。「導電性が付与された柔軟材料」とは、導電性を有する材料を含む概念であり、導電性を付与するために導電材を柔軟材料に付与した材料、及び柔軟材料が導電性を有する材料を含む。また、導電性が付与された柔軟材料は、変形に応じて電気特性が変化する機能を有する。なお、変形に応じて電気特性が変化する機能を生じさせる物理量の一例には柔軟材料に与えられる圧力による刺激（以下、圧力刺激という。）を示す圧力値が挙げられる。柔軟材料は、人物の動きで生じる外部力、例えば、圧力刺激の分布に応じて変形する。また、変形に応じて変化する電気特性を表す物理量の一例には、電気抵抗値が挙げられる。また、他例には、電圧値、又は電流値が挙げられる。電気抵抗値は、柔軟材料の体積抵抗値と捉えることが可能である。

柔軟材料は、導電性を与えることで、圧力による変形に応じた電気特性が現れる。すなわち、導電性が付与された柔軟材料は、電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりする。また、電気経路が一時的に切断される挙動、及び以前と異なる接続が生じる挙動を示す場合もある。従って、柔軟材料は、所定距離を隔てた位置（例えば電極が配置された検出点の位置）の間では、与えられた力（例えば圧力刺激）の大きさや分布に応じて異なる電気特性を有する挙動を示す。このため、柔軟材料に与えられた力（例えば圧力刺激）の大きさや分布に応じて電気特性が変化する。なお、導電性が付与された柔軟材料を用いるため、人間等の物体によって柔軟材料に圧力が与えられる箇所の全てに電極等の検出点を設ける必要はない。柔軟材料の圧力が与えられる箇所を挟む任意の少なくとも２箇所に電極等の検出点が設けられていればよい。

本開示の推定装置は、学習済みの学習モデルを用いて、寝具に備えられた導電性を有する柔軟材料における電気特性から人物の動きを推定する。柔軟材料は、寝具に配置することが可能である。学習モデルは、導電性を有する柔軟材料に圧力を与えた際の時系列の電気特性と、その柔軟材料に圧力を与える人物の動きを示す動き情報とを学習用データとして用いる。学習モデルは、時系列の電気特性を入力とし、その時系列の電気特性に対応する人物の動きを示す動き情報を出力するように学習される。

以下の説明では、寝具として、導電性を有する柔軟材料としてウレタン部材の少なくとも一部に導電材料を浸潤させたシート部材（以下、導電性ウレタンという。）が配置されたマットレスを適用した場合を説明する。また、導電性ウレタンを変形させる物理量としてはマットレスが適用された寝具に与えられる圧力刺激を示す値（圧力値）を適用する。この場合の圧力値は、マットレスで寝ている人物の動き（例えば、姿勢の変化、呼吸状態の変化等）によって発生する。なお、人物の動きは、睡眠状態における動きを含む。また、圧力刺激に応じて変化する物理量としては、導電性ウレタンの電気抵抗値を適用した場合を説明する。

図１に、本開示の推定装置としての動き推定装置１の構成の一例を示す。

図１に示すように、動き推定装置１における推定処理は、学習済みの学習モデル５１を用いて、未知の人物の動きとして、寝具２上の人物ＯＰの動きを推定し、動き情報として出力する。これにより、特殊な装置や大型の装置を用いたり、寝具に含まれるマットレスなどの柔軟材料の変形を直接計測したりすることなく、寝具２に寝ている人物の動きを同定することが可能となる。学習モデル５１は、寝具２における人物の動き（例えば、動き対応値）をラベルとし、当該動きにおける寝具２の電気特性（すなわち、寝具２に配置された導電性ウレタンの電気抵抗値）を入力として学習される。学習モデル５１は、一例として、検出された電気特性に対応する、寝具２で寝ている人物の姿勢の変化を示す情報を動き情報として出力するように学習される。また、学習モデル５１は、他例として、検出された電気特性に対応する、寝具２で寝ている人物の呼吸状態の変化を示す情報を動き情報として出力するように学習される。学習モデル５１の学習については後述する。

図２に示すように、本実施形態に係る寝具２は、マットレス２１に導電性ウレタン２２が配置されて構成される。導電性ウレタン２２が配置されたマットレス２１により構成される寝具２は、検出部の一例である電気特性検出部７６（図３）に接続されている。導電性ウレタン２２は、図２に示すように、マットレス２１の少なくとも一部に配置すればよく、内部に配置してもよいし外部に配置してもよい。具体的には、寝具のＡ－Ａ断面を寝具断面２－１として示すように、マットレス２１の内部を全て導電性ウレタン２２で構成しても良い。また、寝具断面２－２に示すように、マットレス２１の内部における人物側（表面側）に導電性ウレタン２２を形成しても良く、寝具断面２－３に示すように、マットレス２１の内部における人物側とは反対側（裏面側）に導電性ウレタン２２を形成しても良い。さらに、寝具断面２－４に示すように、マットレス２１の内部の中央付近に導電性ウレタン２２を形成しても良い。

また、寝具断面２－５に示すように、マットレス２１の人物側（表面側）の外部に導電性ウレタン２２を配置しても良く、寝具断面２－６に示すように、人物側とは反対側（裏面側）の外部に導電性ウレタン２２を配置しても良い。導電性ウレタン２２をマットレス２１の外部に配置する場合、導電性ウレタン２２とマットレス２１とを積層するのみでもよく、導電性ウレタン２２とマットレス２１とを接着等により一体化してもよい。なお、導電性ウレタン２２をマットレス２１の外部に配置する場合であっても、導電性ウレタン２２が導電性を有するウレタン部材であるため、マットレス２１の柔軟性は阻害されない。

以降では、説明を簡単にするため、マットレス２１の人物側（表面側）の外部に導電性ウレタン２２を配置して寝具を形成する一例を説明する（寝具断面２－５）。

本実施形態では、図３に示すように、距離を隔てて配置された複数（図３では２個）の検出点７５からの信号によって、導電性ウレタン２２の電気特性（すなわち、電気抵抗値である体積抵抗値）を検出することが可能である。図３に示す例では、導電性ウレタン２２上で距離を隔てて対角位置に配置された複数の検出点７５からの信号により電気抵抗値を検出する第１の検出セット＃１が示されている。なお、複数の検出点７５の配置は、図３に示す位置に限定されるものではなく、導電性ウレタン２２の電気特性を検出可能な位置であれば何れの位置でもよい。なお、導電性ウレタン２２の電気特性は、電気特性（すなわち、電気抵抗値である体積抵抗値）の検出する電気特性検出部７６を検出点７５に接続し、その出力を用いればよい。

上述した導電性ウレタン２２を備えたマットレス２１で構成される寝具２において検出される電気抵抗値は、寝具２に圧力刺激が与えられた際の導電性ウレタン２２の変形によって、少なくとも圧力刺激が与えられる前後で変化する。従って、寝具２に対する圧力刺激を伴う人物の動きの前後で、電気抵抗値が変化する。よって、時系列の電気抵抗値の検出、すなわち、寝具２に圧力刺激が与えられていない状態からの電気抵抗値の変化を検出（例えば予め定めた閾値を超えた電気抵抗値を検出）することで、寝具２に対する人物の動きを検出することが可能となる。具体的には、寝具２に対する人物の動きは、寝具２に対する人物の接触による圧力刺激を伴うため、接触状態を含む。よって、寝具２に導電性ウレタン２２を配置することで、寝具２に対する人物の接触を検出可能となる。また、寝具２に与えられた圧力刺激の位置や分布、及び大きさの何れか１つが変化しても電気抵抗値は変化する。従って、時系列に変化した電気抵抗値から、寝具２に対する人物の接触位置を含む接触状態を検出することも不可能ではない。

なお、導電性ウレタン２２の電気特性の検出精度を向上するため、図３に示す検出点（２個）より多くの検出点を用いてもよい。

一例としては、各々検出点が配置された複数の導電性ウレタン片からなる列を１列または複数列並べて導電性ウレタン２２を形成し、複数の導電性ウレタン片毎に電気特性を検出してもよい。例えば、図４に示す導電性ウレタン片２３を、配列して導電性ウレタン２２を構成してもよい（図５、図６）。図４に示す例は、距離を隔てて対角位置に配置された検出点７５Ａからの信号により電気抵抗値を検出する第１の検出セット＃１と、他の対角位置に配列された検出点７５Ｂからの信号により電気抵抗値を検出する第２の検出セット＃２とを示している。また、図５に示す例では、導電性ウレタン片２３（図４）を、寝具２を構成するマットレス２１（図示省略）の長手方向に配列（４×１）して導電性ウレタン２２を構成し、順に、第１の検出セット＃１から第８の検出セット＃８を構成することを示している。さらに、図６に示す例では、導電性ウレタン片２３（図４）において各々第１の検出セット＃１を採用し、寝具２を構成するマットレス２１（図示省略）の長手方向及び幅方向に配列（４×２）して導電性ウレタン２２を構成し、第１の検出セット＃１から第８の検出セット＃８を構成することを示している。

また、他例としては、導電性ウレタン２２上における検出範囲を分割して分割した検出範囲毎に検出点を設けて検出範囲毎に電気特性を検出してもよい。例えば、図５及び図６に示す導電性ウレタン片２３の大きさに相当する領域を検出範囲として導電性ウレタン２２に設定し、設定した検出範囲毎に検出点を配置して、検出範囲毎に電気特性を検出すればよい。

図１に示すように、動き推定装置１は、推定部５を備えている。推定部５には、導電性ウレタン２２における電気抵抗の大きさ（電気抵抗値）を表す時系列の入力データ４が入力される。入力データ４は、寝具２上の人物の動きを示す人物の動き３に対応する。また、推定部５は、推定結果として寝具２上の人物の動きを示す物理量（動き対応値）を表す出力データ６を出力する。なお、推定部５は、学習済みの学習モデル５１を含む。

学習モデル５１は、人物の動き３に応じた圧力刺激により変化する導電性ウレタン２２の電気抵抗（入力データ４）から、寝具上の人物の動きを示す動き情報（出力データ６）を導出する学習を済ませたモデルである。学習モデル５１は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード（ニューロン）同士の間の結合の重み（強度）の情報の集合として表現される。

学習モデル５１は、図７に示す学習処理部５２の学習処理により生成される。学習処理部５２は、人物の動き３により生じる圧力刺激で変化する導電性ウレタン２２における電気特性（入力データ４）を用いて学習処理を行う。すなわち、人物の動き３をラベルとして導電性ウレタン２２における電気抵抗を時系列に測定した大量のデータを学習データとする。具体的には、学習データは、電気抵抗値（入力データ４）を含んだ入力データと、その入力データに対応する人物の動き３を示す情報（出力データ６）と、のセットを大量に含む。ここでは、導電性ウレタン２２の電気抵抗値（入力データ４）の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、人物の動き３として定まる期間について、導電性ウレタン２２における時系列な電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。

次に、学習処理部５２について説明する。
学習処理部５２が行う学習処理では、上述した導電性ウレタン２２が配置されたマットレス２１により構成される寝具２が検出部として適用され、人物の動き３、及び導電性ウレタン２２による電気抵抗値（入力データ４）が学習データとして用いられる。例えば、人物ＯＰに、寝具２上で所定の動きを指示し、そのときの電気抵抗値を検出して、動きと対応付けて学習データとする。なお、動きには、例えば、仰向けから左右の横向きへの動き、左右の横向きから仰向けへの動き、仰向けから俯せ（又は俯せから仰向け）への変化（つまり寝返り）、呼吸状態から無呼吸状態（又は無呼吸状態から呼吸状態）への変化等の各種の動きが適用される。また、電気特性（すなわち、電気抵抗値である体積抵抗値）は、電気特性検出部７６（図３）を検出点７５に接続して検出すればよい。

具体的には、学習処理部５２は、図示しないＣＰＵを含むコンピュータを含んで構成可能であり、学習データ収集処理及び学習処理を実行する。図８に、図示しないＣＰＵが実行する学習データ収集処理の一例を示す。学習処理部５２は、ステップＳ１００で、寝具２（導電性ウレタン２２）における動きを人物ＯＰに指示し、ステップＳ１０２で、動きに応じた圧力刺激により変化する電気抵抗値を時系列に取得する。次のステップＳ１０４では、取得した時系列の電気抵抗値に動き３をラベルとして付与して、記憶する。学習処理部５２は、これら人物の動き３、及び導電性ウレタン２２の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで（ステップＳ１０６で、肯定判断されるまで否定判断し）、上記処理を繰り返す。これにより、学習処理部５２は、人物の動き毎に、導電性ウレタン２２における電気抵抗値を時系列に取得し、記憶することが可能となり、記憶された人物の動き毎の時系列な導電性ウレタン２２の電気抵抗値のセットが学習データとなる。

ところで、人物ＯＰの動きは、寝具２に対する人物ＯＰの各部位の相対的な位置関係、各部位による圧力刺激の分布、大きさ、及び頻度等の各物理量の変化や維持等の少なくとも一部により同定可能である。従って、これら時系列の物理量の一部には、人物ＯＰの動きを示す特徴を含むと考えられる。本実施形態では、導電性ウレタン２２を用いることで、これらの物理量が反映された電気特性（体積抵抗）を時系列に検出することが可能である。

図９に、導電性ウレタン２２が配置されたマットレス２１により構成される寝具２における電気特性の一例を示す。図９は、対角方向の検出セット＃１を採用した導電性ウレタン片２３（図４）を、マットレス２１に長手方向及び幅方向に複数配列（４×２）した導電性ウレタン２２の各電気特性を示す。図９（Ａ）は検出セット＃１による電気特性の検出結果を示す。同様に、図９（Ｂ）は検出セット＃２、図９（Ｃ）は検出セット＃３、図９（Ｄ）は検出セット＃４、図９（Ｅ）は検出セット＃５、図９（Ｆ）は検出セット＃６、図９（Ｇ）は検出セット＃７、図９（Ｈ）は検出セット＃８の各検出結果を示す。

図９の例では、導電性ウレタン２２に対する人物ＯＰの寝返りによって変化した導電性ウレタン２２の電気特性（電気抵抗値）の特性が示されている。図９（Ａ）～図９（Ｈ）には、人物ＯＰの寝返りを１０秒間隔で行った場合の挙動について、第１の検出セット＃１～＃８による導電性ウレタン２２の電気抵抗値の時間特性が示されている。

図９に示すように、人物ＯＰの挙動により各検出セットによる電気特性が変化し、寝返りの挙動が反映されていることからも、導電性ウレタン２２の変形に応じて時系列に変化する電気抵抗値から人物の寝返りの挙動を推定可能であることを確認できる。すなわち、様々な寝返りの挙動であっても、各々が学習された学習モデル５１を用いることで、人物の寝返りの挙動に関する結果が分離可能であり、人物の寝返りの挙動を判別することが可能となる。

また、例えば、人物ＯＰの腰の沈み込み（すなわち腰の動き）等により圧力刺激が発生する。この場合、導電性ウレタン２２の電気抵抗値の変化から、マットレス２１の体圧分散を推定することが可能となる。これにより、適切に体圧を分散させることができるマットレス２１を提供することが可能となる。

図１０には、導電性ウレタン２２に対する人物ＯＰの呼吸状態によって変化した導電性ウレタン２２の電気特性（電気抵抗値）の特性が示されている。

人物ＯＰの胸部に対応する検出セットにおける電気特性（電気抵抗値）、つまり、人物の呼吸状態に応じて変化する電気特性（電気抵抗値）を「元波形」とする。次に、この「元波形」を電気抵抗値の平均値で除し、正規化を行う。この波形を「正規化波形」という。次に、元波形と、正規化波形との差分を計算し、オフセットをなくす。この波形を「差分波形」という。次に、差分波形と、正弦波とを畳み込み積算し二乗した波形を呼吸周期成分として算出する。この波形を呼吸周期成分波形といい、一例として、図１０に示す。この呼吸周期成分波形では、周期性が近いと呼吸周期成分が大きくなる。つまり、呼吸周期成分が小さい区間は、無呼吸状態である可能性が高いと考えられる。

このように、人物ＯＰの呼吸状態を学習した学習モデル５１を用いることで、人物の胸部位置に対応する導電性ウレタン２２の変形に応じて時系列に変化する電気抵抗値から睡眠時の呼吸状態を推定することも可能となる。このため、例えば、睡眠時における無呼吸状態を判別することも可能となる。

図１１には、導電性ウレタン２２に対する人物の姿勢変化によって変化した導電性ウレタン２２の電気特性（電気抵抗値）の特性が示されている。図１１（Ａ）～図１１（Ｈ）には、人物の姿勢を、仰向け、左横向き、右横向き、左横向き、仰向けの順に変化させた場合の挙動について、第１の検出セット＃１～＃８による導電性ウレタン２２の電気抵抗値の時間特性が示されている。

図１１に示すように、人物ＯＰの挙動により各検出セットによる電気特性が変化し、姿勢変化の挙動が反映されていることからも、導電性ウレタン２２の変形に応じて時系列に変化する電気抵抗値から人物の姿勢変化の挙動を推定可能であることを確認できる。すなわち、様々な姿勢変化の挙動であっても、各々が学習された学習モデルを用いることで、人物の姿勢変化の挙動に関する結果が分離可能であり、人物の姿勢変化の挙動を判別することが可能となる。

従って、指示した動きに応じて人物ＯＰが動きを変化させることによって寝具２への圧力刺激が変化し、その圧力刺激の変化に対応する電気特性を時系列に取得することで、人物の動きに時系列の電気特性を対応付けて記憶することが可能となる。当該時系列の電気特性および指示した動きを示す動き対応値とのセットが学習データとなる。

なお、上述した動きは、就寝者等の人物の睡眠状態での動きを含む。睡眠状態は、例えば、所謂レム睡眠の状態及びノンレム睡眠の状態、浅い眠りの状態及び深い眠りの状態が挙げられる。これらの状態は所定時間において動きが安定した姿勢の安静状態、及び複数の姿勢や動きを伴う活性状態の少なくとも一方の状態を伴う。よって、睡眠状態は、上述した人物ＯＰの動きと同様に、寝具２に対する人物ＯＰの各部位の相対的な位置関係、各部位による圧力刺激の分布、大きさ、及び頻度等の各物理量の変化や維持等の少なくとも一部により同定可能である。従って、時系列の物理量の一部に、睡眠状態での動きを示す特徴を含むと考えられ、導電性ウレタン２２を用いることで、これら睡眠状態における物理量が反映された電気特性（体積抵抗）を時系列に検出することが可能である。なお、人物が睡眠状態であるか、覚醒状態であるかの判別は、睡眠状態及び覚醒状態の何れかの状態に特徴的に現れる物理量を用いた判別が可能である。睡眠状態に特徴的に現れる物理量の一例には、所定時間を超える時間の間について姿勢変化が閾値以下であることを示す物理量が挙げられる。また、睡眠状態か覚醒状態かを示すデータをさらに入力することで、検出される電気特性が睡眠状態及び覚醒状態の何れかの状態に対応するのかを設定することが可能である。

次に、上述した学習データの一例を表で示す。表１は、呼吸状態の変化に関する学習データとして、時系列の電気抵抗値データ（ｒ）と呼吸状態値とを対応付けたデータの一例である。表２は、睡眠状態の変化に関する学習データとして、時系列の電気抵抗値データ（Ｒ）と睡眠状態値とを対応付けたデータの一例である。表３は、上述した図１１に示す各検出セットで検出された時系列の電気抵抗値を示す特性データ（Ｊ）のセットと、動き対応値とを対応付けたデータの一例である。このセットに含まれる何れかの特性データ（Ｊ）に姿勢変化の特徴、すなわち、特徴パターンが含まれる。各特性データ（Ｊ）は、全て学習データとして用いる。例えば、寝具２で検出された複数の特性データ（Ｊ）と動き対応値とを学習データとして用いる。

次に、学習処理部５２における学習処理について説明する。図１２は、学習処理において学習処理部５２の図示しないＣＰＵにおける機能を示す図である。
学習処理部５２の図示しないＣＰＵは、生成器５４及び演算器５６の機能部を含む。生成器５４は、入力である時系列に取得された電気抵抗値の前後関係を考慮して出力を生成する機能を有する。

また、学習処理部５２は、学習用データとして、上述した入力データ４（電気抵抗値）と、導電性ウレタン２２に圧力刺激を与えた人物の動き３である出力データ６とのセットを多数保持している。

生成器５４は、入力層５４０、中間層５４２、および出力層５４４を含んで、公知のニューラルネットワーク（ＮＮ：Neural Network）を構成する。ニューラルネットワーク自体は公知の技術であるため詳細な説明は省略するが、中間層５４２は、ノード間結合およびフィードバック結合を有するノード群（ニューロン群）を多数含む。その中間層５４２には、入力層５４０からのデータが入力され、中間層５４２の演算結果のデータは、出力層５４４へ出力される。

生成器５４は、入力された入力データ４（電気抵抗）から人物の動きを表す生成出力データ６Ａを生成するニューラルネットワークである。生成出力データ６Ａは、入力データ４（電気抵抗）から導電性ウレタン２２に圧力刺激が与えられた人物の動きを推定したデータである。生成器５４は、時系列に入力された入力データ４（電気抵抗）から、人物の動きに近い状態を示す生成出力データを生成する。生成器５４は、多数の入力データ４（電気抵抗）を用いて学習することで、寝具２すなわち導電性ウレタン２２に圧力刺激が与えられた人物の動きに近い生成出力データ６Ａを生成できるようになる。他の側面では、時系列に入力された入力データ４である電気特性をパターンとして捉え、当該パターンを学習することで、寝具２すなわち導電性ウレタン２２に圧力刺激が与えられた人物の動きに近い生成出力データ６Ａを生成できるようになる。

演算器５６は、生成出力データ６Ａと、学習データの出力データ６とを比較し、その比較結果の誤差を演算する演算器である。学習処理部５２は、生成出力データ６Ａ、および学習データの出力データ６を演算器５６に入力する。これに応じて、演算器５６は、生成出力データ６Ａと、学習データの出力データ６との誤差を演算し、その演算結果を示す信号を出力する。

学習処理部５２は、演算器５６で演算された誤差に基づいて、ノード間の結合の重みパラメータをチューニングする、生成器５４の学習を行う。具体的には、生成器５４における入力層５４０と中間層５４２とのノード間の結合の重みパラメータ、中間層５４２内のノード間の結合の重みパラメータ、および中間層５４２と出力層５４４とのノード間の結合の重みパラメータの各々を例えば勾配降下法や誤差逆伝搬法等の手法を用いて、生成器５４にフィードバックする。すなわち、学習データの出力データ６を目標として、生成出力データ６Ａと学習データの出力データ６との誤差を最小化するように全てのノード間の結合を最適化する。

学習モデル５１は、学習処理部５２の学習処理により生成される。学習モデル５１は、学習処理部５２による学習結果のノード間の結合の重みパラメータ（重み又は強度）の情報の集合として表現される。

図１３に学習処理の流れの一例を示す。学習処理部５２は、ステップＳ１１０で、時系列に測定した結果の学習データである、人物ＯＰの動きを示す情報をラベルとした入力データ４（電気抵抗）を取得する。学習処理部５２は、ステップＳ１１２で、時系列に測定した結果の学習データを用いて学習モデル５１を生成する。すなわち、上記のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ（重み又は強度）の情報の集合を得る。そして、ステップＳ１１４で、学習結果のノード間の結合の重みパラメータ（重み又は強度）の情報の集合として表現されるデータを学習モデル５１として記憶する。

なお、生成器５４は、時系列入力の前後関係を考慮して出力を生成する機能を有する再帰型ニューラルネットワークを用いてもよく、他の手法を用いてもよい。

そして、上記動き推定装置１では、以上に例示した手法により生成した学習済みの生成器５４（すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ）を学習モデル５１として用いる。十分に学習した学習モデル５１を用いれば、寝具２、すなわち導電性ウレタン２２における時系列な電気抵抗値から人物の動きを同定することは可能とされる。

なお、学習処理部５２による処理は、本開示の学習モデル生成装置の処理の一例である。また、動き推定装置１は、本開示の推定部および推定装置の一例である。動き３を示す情報である出力データ６は、本開示の動き情報の一例である。

ところで、上述したように、導電性ウレタン２２は、電気経路が複雑に連携し、変形に応じた電気経路の伸縮、膨縮、一時的な切断、及び新たな接続が生じる等の挙動を示し、結果的に、与えられた力（例えば圧力刺激）に応じて異なる電気特性を有する挙動を示す。このことは、導電性ウレタン２２を、導電性ウレタン２２の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、動き推定装置１は、物理的なリザーバコンピューティング（ＰＲＣ：Physical Reservoir Computing）と呼ばれるネットワークモデル（以下、ＰＲＣＮという。）に、導電性ウレタン２２を適用することが可能である。ＰＲＣおよびＰＲＣＮ自体は公知の技術であるため、詳細な説明を省略するが、すなわち、ＰＲＣ、及びＰＲＣＮは、導電性ウレタン２２の変形に関する情報の推定に好適である。

図１４に、導電性ウレタン２２を含む寝具２を、導電性ウレタン２２を含む寝具２の変形に関するデータを貯留するリザーバとして扱って学習する学習処理部５２の一例を示す。導電性ウレタン２２は、多様な圧力刺激の各々に応じた電気特性（電気抵抗値）となり、電気抵抗値を入力する入力層として機能し、また、導電性ウレタン２２の変形に関するデータを貯留するリザーバ層として機能する。導電性ウレタン２２は、人物の動き３により与えられた圧力刺激に応じて異なる電気特性（入力データ４）を出力するので、推定層で、導電性ウレタン２２の電気抵抗値から与えられた圧力刺激３（柔軟材料の形状）を推定することが可能である。従って、学習処理では、推定層を学習すればよい。

上述の動き推定装置１は、例えば、コンピュータに上述の各機能を有するプログラムを実行させることにより実現可能である。

図１５に、動き推定装置１の各種機能を実現する処理を実行する実行装置としてコンピュータを含んで構成した場合の一例を示す。

動き推定装置１として機能するコンピュータは、図１５に示すコンピュータ本体１００を備えている。コンピュータ本体１００は、ＣＰＵ１０２、揮発性メモリ等のＲＡＭ１０４、ＲＯＭ１０６、ハードディスク装置（ＨＤＤ）等の補助記憶装置１０８、及び入出力インターフェース（Ｉ／Ｏ）１１０を備えている。これらのＣＰＵ１０２、ＲＡＭ１０４、ＲＯＭ１０６、補助記憶装置１０８、及び入出力Ｉ／Ｏ１１０は、相互にデータ及びコマンドを授受可能にバス１１２を介して接続された構成である。また、入出力Ｉ／Ｏ１１０には、外部装置と通信するための通信インターフェース（通信Ｉ／Ｆ）である通信部１１４、及びディスプレイやキーボード等の操作表示部１１６が接続されている。通信部１１４は、導電性ウレタン２２を含む寝具２との間で、入力データ４（電気抵抗）を取得する機能を有する。すなわち、通信部１１４は、検出部である、導電性ウレタン２２が配置された寝具２を含み、導電性ウレタン２２における検出点７５に接続された電気特性検出部７６から入力データ４（電気抵抗）を取得することが可能である。

補助記憶装置１０８には、コンピュータ本体１００を本開示の推定装置の一例として動き推定装置１として機能させるための制御プログラム１０８Ｐが記憶される。ＣＰＵ１０２は、制御プログラム１０８Ｐを補助記憶装置１０８から読み出してＲＡＭ１０４に展開して処理を実行する。これにより、制御プログラム１０８Ｐを実行したコンピュータ本体１００は、本開示の推定装置の一例として動き推定装置１として動作する。

なお、補助記憶装置１０８には、学習モデル５１を含む学習モデル１０８Ｍ、及び各種データを含むデータ１０８Ｄが記憶される。制御プログラム１０８Ｐは、ＣＤ－ＲＯＭ等の記録媒体により提供するようにしても良い。

次に、コンピュータにより実現された動き推定装置１における推定処理について説明する。

図１６に、コンピュータ本体１００において、実行される制御プログラム１０８Ｐによる推定処理の流れの一例を示す。
図１６に示す推定処理は、コンピュータ本体１００に電源投入されると、ＣＰＵ１０２により実行される。すなわち、ＣＰＵ１０２は、制御プログラム１０８Ｐを補助記憶装置１０８から読み出し、ＲＡＭ１０４に展開して処理を実行する。

まず、ＣＰＵ１０２は、ステップＳ２００で、補助記憶装置１０８の学習モデル１０８Ｍから学習モデル５１を読み出し、ＲＡＭ１０４に展開することで、学習モデル５１を取得する。具体的には、学習モデル５１として表現された重みパラメータによるノード間の結合となるネットワークモデル（図１２、図１４参照）を、ＲＡＭ１０４に展開する。よって、重みパラメータによるノード間の結合が実現された学習モデル５１が構築される。

次に、ＣＰＵ１０２は、ステップＳ２０２で、導電性ウレタン２２に与えられた圧力刺激による柔軟材料の形状を推定する対象となる未知の入力データ４（電気抵抗）を、通信部１１４を介して時系列に取得する。

次に、ＣＰＵ１０２は、ステップＳ２０４で、ステップＳ２００で取得した学習モデル５１を用いて、ステップＳ２０２において取得した入力データ４（電気抵抗）に対応する出力データ６（未知の動き）を推定する。

そして、次のステップＳ２０６で、推定結果の出力データ６（人物の動き）を、通信部１１４を介して出力して、本処理ルーチンを終了する。

なお、図１６に示す推定処理は、本開示の推定方法で実行される処理の一例である。

以上説明したように、本開示によれば、導電性ウレタン２２に対して、人物の動き３により与えられた圧力刺激に応じて変化する入力データ４（電気抵抗）から、人物の動きを推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり、柔軟材料の変形を直接計測したりすることなく、未知の人物の動きを推定することが可能となる。

また、人物ＯＰの姿勢の変化、呼吸状態の変化により各検出セットによる電気特性が変化し、当該電気特性（時系列な電気抵抗）に姿勢の変化、呼吸状態の変化が反映されるので、導電性ウレタン２２において時系列に変化する電気抵抗値から人物の姿勢の変化、呼吸状態の変化を推定可能である。すなわち、様々な姿勢の変化、呼吸状態の変化であっても、上述した学習モデルを用いることで、人物の姿勢の変化、呼吸状態の変化を同定可能であり、人物の姿勢の変化、呼吸状態の変化を推定できる。

なお、睡眠状態における動きを推定する場合、睡眠状態における物理量が反映された電気特性（体積抵抗）を時系列に検出することで、例えば、所謂レム睡眠の状態及びノンレム睡眠の状態、浅い眠りの状態及び深い眠りの状態や、安静状態、及び複数の姿勢や動きを伴う活性状態、を推定することが可能である。また、推定される人物の姿勢の変化は、就寝者等の人物の睡眠状態における寝相に好適に対応し、就寝者の寝相を推定することが可能である。

上述した学習処理によって学習された学習モデル５１を用いた動き推定装置１では、未知の様々な姿勢の変化、呼吸状態の変化における導電性ウレタン２２の電気特性を入力することで、対応する人物の姿勢の変化、呼吸状態の変化を推定できることを確認した。

上述したように、本開示では、柔軟材料の一例として導電性ウレタンを適用した場合を説明したが、柔軟材料は導電性ウレタンに限定されないことは勿論である。

また、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本開示の技術的範囲に含まれる。

また、上記実施形態では、推定処理、学習処理を、フローチャートを用いた処理によるソフトウェア構成によって実現した場合について説明したが、これに限定されるものではなく、例えば各処理をハードウェア構成により実現する形態としてもよい。

また、推定装置の一部、例えば学習モデル等のニューラルネットワークを、ハードウェア回路として構成してもよい。

１ 動き推定装置
２ 寝具
３ 動き
４ 入力データ
５ 推定部
６ 出力データ
６Ａ 生成出力データ
２１ マットレス
２２ 導電性ウレタン
２３ 導電性ウレタン片
５１ 学習モデル
５２ 学習処理部
５４ 生成器
５６ 演算器
７５ 検出点
７６ 電気特性検出部

Claims (7)

1. 導電性を有し、繊維状及び網目状の少なくとも一方の骨格を有する構造体、又は内部に微小な空気泡が複数散在する構造体を含むシート部材であって、かつ電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりすることにより、与えられた圧力の変化に応じて所定距離を隔てた位置の間での体積抵抗値である電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、
   前記柔軟材料に圧力を与えた際の時系列の電気特性と、人物が前記寝具上で寝ている状態での人物の姿勢の変化を示す情報、又は、人物の呼吸状態の変化を示す情報を含む、前記柔軟材料に圧力を与える人物の動きを示す動き情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記動き情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する人物の動きを示す動き情報を推定する推定部と、
   を含む推定装置。
2. 前記人物の動きは、前記人物の睡眠状態における動きを含む
   請求項１に記載に推定装置。
3. 前記寝具は、マットレスを含み、
   前記柔軟材料は、繊維状及び網目状の少なくとも一方の骨格を有する構造、又は、内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料である
   請求項１又は請求項２に記載の推定装置。
4. 前記学習モデルは、前記柔軟材料をリザーバコンピューティングにおける前記柔軟材料の変形に関するデータを貯蔵するリザーバとして扱い、当該リザーバを用いた前記リザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む
   請求項１～請求項３の何れか１項に記載の推定装置。
5. コンピュータが、
   導電性を有し、繊維状及び網目状の少なくとも一方の骨格を有する構造体、又は内部に微小な空気泡が複数散在する構造体を含むシート部材であって、かつ電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりすることにより、与えられた圧力の変化に応じて所定距離を隔てた位置の間での体積抵抗値である電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
   前記柔軟材料に圧力を与えた際の時系列の電気特性と、人物が前記寝具上で寝ている状態での人物の姿勢の変化を示す情報、又は、人物の呼吸状態の変化を示す情報を含む、前記柔軟材料に圧力を与える人物の動きを示す動き情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記動き情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する人物の動きを示す動き情報を推定する
   推定方法。
6. コンピュータに、
   導電性を有し、繊維状及び網目状の少なくとも一方の骨格を有する構造体、又は内部に微小な空気泡が複数散在する構造体を含むシート部材であって、かつ電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりすることにより、与えられた圧力の変化に応じて所定距離を隔てた位置の間での体積抵抗値である電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
   前記柔軟材料に圧力を与えた際の時系列の電気特性と、人物が前記寝具上で寝ている状態での人物の姿勢の変化を示す情報、又は、人物の呼吸状態の変化を示す情報を含む、前記柔軟材料に圧力を与える人物の動きを示す動き情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記動き情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する人物の動きを示す動き情報を推定する
   処理を実行させるための推定プログラム。
7. 導電性を有し、繊維状及び網目状の少なくとも一方の骨格を有する構造体、又は内部に微小な空気泡が複数散在する構造体を含むシート部材であって、かつ電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりすることにより、与えられた圧力の変化に応じて所定距離を隔てた位置の間での体積抵抗値である電気特性が変化する柔軟材料を備えた寝具の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部からの前記電気特性と、人物が前記寝具上で寝ている状態での人物の姿勢の変化を示す情報、又は、人物の呼吸状態の変化を示す情報を含む、前記柔軟材料に圧力を与える人物の動きを示す動き情報と、を取得する取得部と、
   前記取得部の取得結果に基づいて、前記柔軟材料に圧力を与えた際の時系列の電気特性を入力し、前記柔軟材料に圧力を与える人物の動きを示す動き情報を出力する学習モデルを生成する学習モデル生成部と、
   を含む学習モデル生成装置。