JP2018132329A - 状態判定装置、学習装置、状態判定方法及びプログラム - Google Patents

Abstract

【課題】単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定し得る状態判定装置を提供する。
【解決手段】複数の電極１１の周辺にある物体の状態を判定する状態判定装置１００は、複数の電極１１のうちから複数の電極ペアを選択する選択部１３０と、複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部１５０と、前記静電容量パターンから物体の状態を判定するよう学習済みのニューラルネットワークと、を備える。
【選択図】図１

Description

本発明は、状態判定装置、学習装置、状態判定方法及びそのプログラムに関する。

従来、物体と電極の距離に応じて電極の静電容量が変化することを利用した静電容量センサを用いて、物体の有無や接近を判定する技術が知られている。静電容量センサは、絶縁体や透明な物体等であっても判定可能な場合があり、幅広い種類の物体を判定するために用いられている。

特許文献１には、座席に着座した人体とヘッドレストとの間の静電容量を検知する検知電極を備え、頭部の頭頂部位置及び水平方向中心位置を判定して、ヘッドレストの位置を適正に調整するヘッドレスト位置調整装置が記載されている。

特開２００９−５０４６２号公報

静電容量センサは、電極ペア間の静電容量の変化に基づいて、物体の有無や接近を判定する場合がある。しかしながら、電極ペア間の静電容量の変化だけでは、物体の状態を詳細に判定できない場合がある。

例えば、互いに向かい合う平面導体を電極ペアとする場合、物体が電極ペアの間に存在するか否かを判定したり、物体が電極ペアのどちら側に近いかを判定したりすることができる。だが、物体が電極ペアの間に存在する場合に、平面導体の延在方向に関する物体の位置を判定することは困難となる。

そこで、本発明の一態様は、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定し得る状態判定装置等を提供することを目的とする。

本発明の一態様に係る状態判定装置は、複数の電極の周辺にある物体の状態を判定する状態判定装置であって、複数の電極のうちから複数の電極ペアを選択する選択部と、選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部と、静電容量パターンから物体の状態を判定するよう学習済みのニューラルネットワークと、を備える。

この態様によれば、複数の電極のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、複数の電極の周辺にある物体の状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。

上記態様において、状態判定装置は、複数の電極の配置を取得する配置取得部をさらに備える。このとき、ニューラルネットワークは、静電容量パターン計測部により計測された静電容量パターンに加え、配置取得部により取得された複数の電極の配置から物体の状態を判定してもよい。

この態様によれば、静電容量パターン及び複数の電極の配置から物体の状態を判定することで、物体の状態をより詳細に判定することができる。

上記態様において、状態判定装置は、複数の電極のうち選択部により選択された複数の電極ペアの各々に対して、所定の電圧を印加する電圧印加部と、複数の電極の少なくとも一部を囲むように配置されるガード電極と、をさらに備えてもよい。電圧印加部は、複数の電極のうち選択部により選択された電極ペアの一方と、ガード電極と、に基準電位を印加してもよい。

この態様によれば、電極ペアの一方とガード電極に基準電位を印加することで、ガード電極によって電界が遮蔽され、電極の２つの面のうち片面側のみの静電容量パターンを計測することができ、物体の状態を判定する範囲を制限することができる。

上記態様において、状態判定装置は、静電容量パターン計測部により複数の電極ペアの静電容量パターンを計測する際の環境に関する環境データを測定する環境測定部をさらに備えてもよい。このとき、ニューラルネットワークは、静電容量パターン計測部により計測された静電容量パターンに加え、環境測定部により測定された環境データから物体の状態を判定してもよい。

この態様によれば、静電容量パターン及び環境データから物体の状態を判定することで、静電容量パターンの環境依存性を考慮した状態判定が行われ、測定環境の変化に起因する状態判定の誤差を低減することができる。

上記態様において、環境測定部により測定される環境データは、湿度及び電磁ノイズのうち少なくともいずれかを含んでもよい。

この態様によれば、静電容量パターンに対して特に影響を及ぼす湿度及び電磁ノイズの依存性を考慮した状態判定が行われ、湿度の変化及び電磁ノイズの強弱に起因する状態判定の誤差を低減することができる。

上記態様において、ニューラルネットワークは、物体の有無、物体の位置、物体の角度、物体の種類、物体の材質及び物体の分布のうち少なくともいずれかを判定してもよい。

この態様によれば、物体の有無、物体の位置、物体の角度、物体の種類、物体の材質及び物体の分布のうち少なくともいずれかを判定することで、物体の状態をより詳細に判定することができる。

上記態様において、複数の電極は、ロボットハンドに設けられていてもよい。

この態様によれば、ロボットハンドによって把持されたり操作されたりする物体の状態を判定することができ、ロボットハンドによるより精密な動作を支援することができる。例えば、物体を把持する場合に、ロボットハンドの複数の指を物体に対して均等に近付ける動作ができる。

上記態様において、複数の電極は、シートに設けられていてもよい。

この態様によれば、シートに着座する者の状態について、体格や姿勢等の詳細を判定することができる。例えば、自動車のシートに着座する自動車の運転手の状態を判定することで、運転手が覚醒状態にあるか否かを判断することができる。

上記態様において、ニューラルネットワークの学習を行うための学習装置をさらに備えてもよい。学習装置は、複数の電極のうちから選択された複数の電極ペアについての静電容量パターンを含む学習データによりニューラルネットワークの学習を行うよう制御する学習制御部を備える。

この態様によれば、物体に関する静電容量パターンを含む学習データにより学習を行うことで、学習結果として、物体の状態を判定できるニューラルネットワークが得られ、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。

上記態様において、学習データは、複数の電極の配置に関するデータを含んでもよい。

この態様によれば、複数の電極の配置を固定せず、複数の電極を物体に対してより柔軟に配置することで、物体の状態をより詳細に判定することができるニューラルネットワークの学習結果が得られる。

上記態様において、学習データは、静電容量パターンを計測する際の環境に関する環境データを含んでもよい。

この態様によれば、物体に関する静電容量パターン及び環境データを含む学習データによりニューラルネットワークの学習が行われ、測定環境が変化する場合であっても、静電容量パターンの環境依存性を考慮した状態判定を行い、状態判定の誤差を低減することができる学習結果が得られる。

上記態様において、学習装置は、学習データ及び教師データにより、ニューラルネットワークの学習を行い、教師データは、物体の状態を示す画像又は動画を含んでもよい。

この態様によれば、ユーザが物体の状態を数値化する必要が無くなり、物体の状態を客観的に示した画像又は動画を教師データに用いてニューラルネットワークの学習が行われ、客観性が高くより汎用性の高いニューラルネットワークの学習結果が得られる。

本発明の一態様に係る状態判定方法は、複数の電極の周辺にある物体の状態を判定する状態判定方法であって、複数の電極のうちから複数の電極ペアを選択する第１ステップと、第１ステップにおいて選択された複数の電極ペアについての静電容量パターンを計測する第２ステップと、第２ステップにおいて計測された静電容量パターンから物体の状態を、学習済みのニューラルネットワークにより判定する第３ステップと、を含む。

この態様によれば、複数の電極のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、物体の状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。

本発明の一態様に係る状態判定のためのプログラムは、複数の電極の周辺にある物体の状態を判定する状態判定装置が備えるコンピュータを、複数の電極のうちから複数の電極ペアを選択する選択部、選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部、及び静電容量パターンから物体の状態を判定するよう学習済みのニューラルネットワーク、として機能させることを含む。

この態様によれば、複数の電極のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、物体の状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。

本発明の一態様によれば、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定し得る状態判定装置等が提供される。

第１実施形態に係る状態判定システムの全体概念を示す図である。 複数の電極の配置例を示す図である。 複数の電極の配置例を示す図である。 第１実施形態に係る状態判定システムの具体的なシステム構成の一例を示す図である。 第１実施形態に係る状態判定装置の構成を示すブロック図である。 第１実施形態に係る学習装置の構成を示すブロック図である。 第１実施形態に係る状態判定システムを構成する各装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る学習データ作成装置における学習データ作成処理のフローチャートである。 第１実施形態に係る学習装置における学習処理のフローチャートである。 第１実施形態に係る状態判定装置における物体の認識処理のフローチャートである。 第２実施形態において、複数の電極がロボットハンドに設けられている様子を示す図である。 第２実施形態に係る状態判定装置の機能ブロック図である。 第３実施形態において、複数の電極がシートに設けられている様子を示す図である。

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。本明細書では、まず第１実施形態について説明した後、具体的な実施例として、主に、状態判定装置の複数の電極がロボットハンドに設けられた場合に関する第２実施形態と、状態判定装置の複数の電極がシートに設けられた場合に関する第３実施形態と、について説明する。しかしながら、本発明の実施形態に係る状態判定装置の複数の電極は、ロボットハンドやシート以外に設けられてもよいものであり、本発明の構成は、以下に説明する実施形態の構成に限定されるものではない。

［第１実施形態］
図１は、本発明の第１実施形態に係る状態判定システム１の全体概念を示す図である。同図に示すとおり、状態判定システム１は、電極接続部２０と、選択部３０と、静電容量パターン計測部５０と、静電容量パターン学習部６０と、静電容量パターン認識部７０と、認識結果出力部８０とを備え、電極接続部２０を介して電極群１０の各電極１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ、１１ｆ（以下、各電極を区別する必要のないときには単に「電極１１」という。）と接続されている。なお、本システムの構成は図示のものに限定されず、例えば、状態判定システム１が電極群１０を含むものとして構成してもよい。また、各部のうち任意の複数の部を物理的ないし論理的に一体のものとして構成してもよいし、各部を物理的ないし論理的に２以上の要素に分けて構成してもよい。

電極１１は、所定の面積を持つ金属などの導体を用いることができる。電極が２つ（電極ペア）あれば、電極ペアを計測回路に接続することにより、その間の静電容量を計測できる。電極１１として透明の部材を用いてもよく、この場合、表示デバイスの表面に透明の電極１１を備えることによって、タッチパネルを構成できる。

選択部３０は、電極群１０に含まれる複数の電極１１のうちから任意の２つの電極を選択する。選択部３０は任意の電極ペアを順次選択することで、複数の電極ペアを順次選択することができる。例えば、選択部３０は、電極ペアとして、電極１１ａと１１ｂのペア、電極１１ｃと１１ｄのペア、電極１１ｅと１１ｆのペアという３つの電極ペアを順次選択することができる。選択部３０による電極ペアの選択は、状態判定システム１の記憶部に予め記憶された電極ペアリストに従ったものであってもよいし、状態判定システム１のユーザによる入力に従うものであってもよいし、ランダムに行われるものであってもよい。

静電容量パターン計測部５０は、選択部３０によって選択された複数の電極ペアの各々について計測された静電容量に基づいて、選択部３０により選択された複数の電極ペアについての静電容量パターンを計測する。静電容量パターンとは、複数の電極ペアについて計測される一連の静電容量の値をいう。具体的に、図１に示すように、電極群１０として６つの電極１１ａ〜１１ｆを備える場合について説明する。例えば、選択部３０が、６つの電極１１ａ〜１１ｆのうちから、電極ペアとして、電極１１ａと１１ｂのペア、電極１１ｃと１１ｄのペア、電極１１ｅと１１ｆのペアの３組を順次選択するとき、選択部３０により選択された電極ペアのそれぞれに対して静電容量Ｃ_ab、Ｃ_cd、Ｃ_efを順次計測することができる。この３組の電極ペアに対して計測される一連の静電容量（Ｃ_ab，Ｃ_cd，Ｃ_ef）に基づいて、静電容量パターンを計測する。

静電容量の計測方法は任意の手法を採用可能である。例えば、所定の電荷をチャージしたときの電圧を計測することによって、静電容量を計測してもよい。あるいは、ＬＣ発信回路を構成して、周波数を計測することで、静電容量を計測してもよい。電極１１付近に物体が有る場合と無い場合とでは、物体の誘電率に応じて静電容量が変化する。そのため、いずれかの電極ペアに物体が近づくと、当該電極ペアに対して計測される静電容量が、物体の誘電率に応じて変化する。そこで、複数の電極ペアの静電容量パターンを計測することによって、複数の電極１１周辺に物体が存在するか否かを判定することができるようになり、判定結果に基づいて物体の存在状態を検出できるようになる。

静電容量パターンは、画像に類似するデータと捉えられ、画像が物体の状態を光によって捉えたものであるならば、静電容量パターンは、物体の状態を静電容量によって捉えるものである。選択部３０により選択された電極ペアに対して、静電容量パターン計測部１５０は、電極ペア間の静電容量を計測することができる。例えば、選択部３０により選択された電極ペアに対して交流電圧を印加した場合、静電容量パターン計測部５０は、電極ペア間において計測される電圧の周波数を印加電圧の周波数と比較することで、静電容量を計測することができる。

静電容量パターン計測部５０において計測される静電容量パターンは、例えば、物体が複数の電極１１付近に無い場合には、電極１１付近にある空気の影響が静電容量パターンとして計測される。これに対して、物体がある場合には、物体の影響を受けた静電容量パターンが計測される。

静電容量パターン学習部６０は、静電容量パターン計測部５０によって計測された静電容量パターンを学習データとして機械学習を行うことで、静電容量パターンを認識する能力を獲得する。

例えば、複数の電極１１に対して所定の位置にある、同じ物体に対して計測される静電容量パターンは、ほぼ同じパターンになる。このとき、物体がいずれかの方向に少し移動すると、静電容量パターンは少し変化する。したがって、同じ物体の位置を変えて、多数計測したデータに基づいて構成された静電容量パターンを学習データとすることで、物体の位置を判定する能力を学習し、物体の位置を検出することができる。

複数の電極１１に対して所定の位置にある、同じ物体の姿勢を変えて計測すると、同じ姿勢の場合にはほぼ同じパターンになる。物体の姿勢が少し変化すると、静電容量パターンは少し変化する。したがって、同じ物体の姿勢を変えて、多数計測したデータに基づいて構成された静電容量パターンを学習データとすることによって、物体の姿勢を判定する能力を学習し、物体の姿勢を検出することができる。

複数の電極１１に対して、物体が移動すると、移動に応じて計測されるパターンが変化する。移動前の静電容量パターンと移動後の静電容量パターンを組み合わせて学習を行うことによって、物体が移動したか否かを判定する能力を獲得し、物体の移動を検出することができる。

静電容量パターン学習部６０による学習が完了すると、静電容量パターン学習部６０を構成するニューラルネットワークが静電容量パターンを学習して所定の認識能力を獲得した状態になる。静電容量パターン学習部６０は、獲得した能力を静電容量パターン認識部７０が利用できるように、学習済みのニューラルネットワークを複製又は変換等して、学習済みのニューラルネットワークを再構成するための情報を作成し、静電容量パターン認識部７０に渡す。

静電容量パターン認識部７０は、静電容量パターン学習部６０による学習の結果得られた能力を利用して静電容量パターンを認識することによって、複数の電極１１の付近にある物体の存在状態を判定する。静電容量パターン認識部７０は、静電容量パターン学習部６０から学習済みのニューラルネットワークを再構成するための情報を受け取り、学習済みのニューラルネットワークを再構成する。これにより、静電容量パターン認識部７０は、物体の存在状態を判定できるようになる。すなわち、学習済みのニューラルネットワークに静電容量パターン計測部５０により計測された静電容量パターンを入力して演算することで、物体の状態を判定する。例えば、物体の存在状態の分類、物体の存在有無、物体の位置、物体の種類、物体の姿勢、物体の材質、物体の分布等の状態を判定することができる。これら以外にも、例えば上記の変化を識別する能力や、変化を分類する能力、変化を予測する能力など、静電容量パターンに差を引き起こすような物体の存在状態を識別するさまざまな能力を獲得することができる。

認識結果出力部８０は、静電容量パターン認識部７０に静電容量パターンを入力することにより判定された結果を出力する。例えば、存在の有無を判定する場合に、識別対象の識別子（ＩＤ）が判定できた場合には、それを出力してもよい。また、特定の対象が存在するか否かを判定し、特定の対象の有無を検出する場合には、「対象が検出された」旨の情報を出力してもよい。さらに、識別した状態を可視化してもよい。例えば、物体の形状を示す画像を表示することで、どのような物体であるかが見てわかるようしてもよい。識別した物体の姿勢を画像に反映することで、物体の姿勢が見てわかるようしてもよい。識別した動きを画像に反映することで、動きを可視化してもよい。

図２Ａ及び図２Ｂは、複数の電極１１の配置例を示す図である。図２Ａは、電極１１を縦横のマトリクス状に配置した例である。例えば、電極１１がＮ×Ｍ個のマトリクス状に並んでいる場合、選択部３０は、_N×_MＣ₂通りの電極ペアを選択することとしてよい。このとき、選択部３０は、マトリクス状に並んだ複数の電極１１のうち任意の電極を選択し切り替えることのできるスイッチマトリクスを含んでもよい。縦または横に隣り合った電極など、近くにある２つの電極１１を組み合わせた場合には、それらの電極付近にある物体の誘電率の影響を強く受ける。他方、離れた位置にある２つの電極１１が選択されると、広い範囲の物体の影響を受ける。

したがって、特定の１つの電極１１ｉと組み合わせる電極を変えて複数の電極ペアの静電容量を計測すると、その特定の電極１１ｉの周辺付近の空間について、より詳しく物体の存在に関する情報が得ることができる。また、別の特定の１つの電極１１ｊを用いると、別の空間についてより詳しく物体の存在に関する情報が得られる。さらに別の電極１１ｋ、１１ｍ、・・・というように、特定の電極を順次用いて複数の電極ペアの静電容量を計測することによって、段階的により詳しく物体の存在に関する情報を得ることができるようになる。

例えば、図２Ａに図示した５×５のマトリクスに配置した電極から２つの電極を選択する組み合わせは、３００種類ある。これらの電極の組み合わせを用いて静電容量を計測すると、３００組の静電容量データが得られる。これら一連の静電容量データによって構成される静電容量パターンは、複数の電極１１が配置された矩形領域付近にある物体の存在状態を反映している。なお、静電容量パターンを構成するとき、複数の電極１１の中から２つの電極を選択する全ての組み合わせ（ここでは３００組）を用いてもよいし、組み合わせの一部を用いてもよい。

図２Ｂは、マトリクス状に並んだ複数の電極１１で構成される第１電極群１０ａと第２電極群１０ｂとを対向して配置した例である。選択部３０は、第１電極群のうちから電極ペアを選択することもできるし、第２電極群のうちから電極ペアを選択することもできるし、第１電極群と第２電極群にまたがる電極ペアを選択することもできる。

図２Ａの配置では、電極平面に比較的近い空間にある物体の存在状態を判定できる。これに対して、図２Ｂのように、対向して２群の電極を配置した場合は、２群の電極群で挟まれる空間にある物体の存在状態を判定できる。例えば、第１群と第２群のそれぞれから、いずれかの電極を選択して組み合わせることによって、電極平面から離れた位置にある物体の影響を計測しやすくなる。

なお、図２Ａ及び図２Ｂの例に限らず、電極ペアの組み合わせは必ずしも全て用いる必要はなく、任意の組み合わせを選択できる。また、電極数は一例にすぎず、任意数の電極を用いることができる。電極１１の形状と大きさは任意でよく、電極の設置位置も任意でよい。例えば、自動車の車室内に、乗員を取り囲むように複数の電極１１を設置することができる。これにより、車室内等の囲まれた空間にある物体の存在状態を判定でき、立体的な形状や状態を判定しやすくなる。また、判定したい空間の形状と、物体の状態に応じて電極１１の位置と大きさを設定できる。後述のロボットハンドの事例のように、移動手段を用いて、電極１１の位置や姿勢を変えてもよい。

図３は、第１実施形態に係る状態判定システム１の具体的なシステム構成の一例を示す図である。同図に示すとおり、状態判定システム１は、電極群１０に接続された状態判定装置１００と、学習装置２００と、学習データ作成装置３００と、学習データベース装置４００とが、ネットワークＮを介して相互に接続可能に構成される。

状態判定装置１００は、図１に示した電極接続部２０と、選択部３０と静電容量パターン計測部５０と、静電容量パターン認識部７０と、認識結果出力部８０とを実質的に含み、電極群１０に含まれる複数の電極１１の静電容量パターンに基づいて、複数の電極１１の周辺にある物体の状態を判定する。

学習装置２００は、図１に示した静電容量パターン学習部６０を実質的に含む。学習装置２００は、学習データベース装置４００に蓄積された静電容量パターンを含む学習データを用いて機械学習を行うことでニューラルネットワークの学習を行い、複数の電極の周辺にある物体の状態を、静電容量パターンから認識する能力を獲得する。学習装置２００において獲得された能力は、直接又は学習データベース装置４００を介して状態判定装置１００に渡される。

学習データ作成装置３００は、獲得しようとする能力の種類に応じて必要となる学習データや教師データを作成し、学習データベース装置４００に蓄積する。図３に示すシステム構成においては、学習データ作成装置３００が学習データを作成する際、状態判定装置１００を介して、電極群１０に含まれる複数の電極１１の静電容量パターンと、当該静電容量パターンが得られたときの電極１１周辺の物体の存在状態とを取得し、例えば、静電容量パターンに基づいて学習データを作成し、そのときの物体の存在状態に基づいて教師データを作成する。

例えば、物体の存在状態を分類する能力を獲得しようとする場合、物体の複数の存在状態それぞれに対して所定のバリエーションで静電容量パターンを計測し、これを学習データとすることができる。すなわち、学習データの対象となる複数の物体の存在状態に対する静電容量パターンをそれぞれ計測して記録したデータが、学習データとして用いられる。教師データについては、それぞれの静電容量パターンに対して、物体の存在状態を識別するための情報を教師データとして学習データに関連づけて記録する。このとき、教師データを学習データと別のデータとして関連付けてもよいし、学習データに教師データを含ませるものとしてもよい。物体を、単に複数のグループに分類できればよい場合、教師データを含まなくてもよい。

物体の存在状態の変化を分類する能力を獲得しようとする場合、静電容量パターンの時系列のデータが必要となるため、例えば、変化の内容を示す教師データを含む学習データを作成する。物体の存在状態を予測する能力を獲得しようとする場合、例えば、存在状態の内容に関する教師データを含む静電容量パターンの時系列データを用いて、物体の存在状態を予測する学習を行うことができる。

学習データ作成装置３００に実装される学習データ生成プログラムにより、学習データを自動生成することができる。例えばディープラーニングによる学習には多くのデータを必要とするため、静電容量パターンの取得から学習データベース装置４００への登録までの一連の作業を自動化することで、作業工数を大きく削減することができる。例えば、複数の電極１１の周辺に物体を近づけて、当該物体の位置や姿勢を変更する動作をロボットに指令して、さまざまな位置や姿勢と方向における静電容量パターンを、そのときの物体の位置、姿勢及び方向と対応付けて取得するようにすることで、人が作業を行わずに学習データと教師データを自動的に生成することができる。学習データ作成装置３００は、マニュアル操作により学習データを生成してもよい。また、学習データや教師データとして、学習に関連し得る任意の情報を組み合わせてもよい。

なお、電極１１と物体の位置関係に応じて静電容量パターンが計測されるため、電極１１の配置は学習結果に影響を与え得る。そのため、学習データは電極の配置に関する情報を含むものとしてもよい。また、学習データ作成装置３００の有する機能を、状態判定装置１００又は学習装置２００が備えるものとしてもよい。この場合、状態判定装置１００又は学習装置２００から出力されるデータを学習データベース装置４００に蓄積したり、学習装置２００に入力ないし利用したりすることで、学習データや教師データとして用いることができる。

学習データベース装置４００は、学習データ作成装置３００が作成した学習データや学習プログラムなど学習に関連するデータやプログラム、その設定等を記録する機能を備える。学習データ作成装置３００が作成した学習データや教師データは、学習データベース装置４００に渡され、学習データに関する情報として記録される。

図４は、本実施形態における状態判定装置１００の構成を示すブロック図である。同図に示す構成のうち、電極接続部１２０、選択部１３０、静電容量パターン計測部１５０及びニューラルネットワーク出力部１８０は、それぞれ図１の電極接続部２０、選択部３０、静電容量パターン計測部５０及び認識結果出力部８０に相当する機能を有するものであるので、説明を省略する。学習結果入力部１７１と、制御部１７２と、ニューラルネットワーク設定部１７３と、ニューラルネットワーク入力部１７４と、ニューラルネットワーク１７５とが、図１の静電容量パターン認識部７０に相当する機能を有する。

学習結果入力部１７１は、学習装置２００における学習の結果として獲得された能力に関する情報を受け付けて、状態判定装置１００に入力する。ここでは、学習装置２００から出力された学習済みのニューラルネットワークを再構成するために必要なデータが入力される。制御部１７２は、状態判定装置１００の各構成における処理を制御するものであり、例えば、学習データ作成装置３００からの指示を受けて、電極群１０から取得した静電容量パターンを、通信部１９０を介して学習データ作成装置３００に出力する。また、制御部１７２は、学習結果入力部１７１から入力された学習済みのニューラルネットワークを再構成するために必要なデータを、ニューラルネットワーク設定部１７３に渡す。ニューラルネットワーク設定部１７３は、このデータに基づいて、ニューラルネットワーク１７５を再構成する。これにより、ニューラルネットワーク１７５は、学習装置２００における学習の結果として獲得された能力を再現することができるようになる。

ニューラルネットワーク入力部１７４は、静電容量パターン計測部１５から静電容量パターンを取得し、ニューラルネットワーク１７５に入力する。ニューラルネットワーク１７５は、入力された静電容量パターンに対して演算を行い、演算結果を出力する。この演算結果は、複数の電極１１の周辺にある物体の存在状態の判定結果、すなわち物体の認識結果に相当するものであり、この認識結果をニューラルネットワーク出力部１８０から出力する。なお、ニューラルネットワークに換えて、機械学習可能な任意の学習モジュールを用いてもよい。ニューラルネットワーク１７５の演算結果として、物体の種類を判定し、物体の種類に割り振られたＩＤを出力することとしてもよい。

ニューラルネットワーク出力部１８０は、物体の認識結果として、例えば、複数の電極１１の周辺における物体の存在状態の分類、物体の存在有無、物体の位置、物体の種類、物体の姿勢、物体の材質、物体の分布等の状態を出力することができる。出力される認識結果はこれらに限られず、他にも例えば、物体の存在状態の変化、変化の分類、変化の予測などを出力することができる。なお、物体の種類とは、例えば、形、重さ及び大きさが類似した複数種類の物体（例えば林檎と梨）が存在する場合に、その種類の別をいう。また、ニューラルネットワーク出力部１８０は、判定した物体の存在状態から画像や動画を生成し、物体の存在状態を可視化してユーザに提示してもよい。

図５は、本実施形態における学習装置２００の構成を示すブロック図である。同図に示すとおり、学習装置２００は、ニューラルネットワーク２１０、学習制御部２２０、学習結果抽出部２３０、学習結果出力部２４０及び通信部２５０を含み、これらがネットワーク（内部バス等を含む）を介して相互に接続され得る。

ニューラルネットワーク２１０は、ニューラルネットワークとしての機能を有し、学習により所定の能力を獲得することができる。学習装置２００は学習データベース装置４００に記録された学習データや教師データを用いてニューラルネットワーク２１０を学習させることによって、所定の能力を獲得する。ニューラルネットワーク２１０は、入力層に対し静電容量パターンベクトルが入力され、出力層から物体の存在状態を表すベクトルが出力されるものであってよい。なお、ニューラルネットワークに換えて、機械学習可能な学習モジュールを用いてもよい。

学習制御部２２０は、学習プログラムを実行して学習装置２００における機械学習を制御する。学習制御部２２０は、学習プログラムが実行されることにより、ユーザから受け付けた所定の学習依頼に応じて学習を実行し、学習データを用いてニューラルネットワーク２１０に所定の能力を獲得させる学習を行うよう制御する。例えばディープラーニング技術を用いた学習プログラムを使用して学習を実行することで、ニューラルネットワーク２１０に所定の能力を獲得させることができる。ニューラルネットワーク２１０としては、物体の静的な状態を学習するために、画像認識に用いられる場合がある畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いてもよい。また、物体の動的な状態を学習するために、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよい。

学習結果抽出部２３０は、ニューラルネットワーク２１０が学習した結果を抽出する。学習結果出力部２４０は、通信部２５０を介して、学習結果を外部に出力する。本実施形態においては、例えば、学習の結果、学習装置２００は、物体の存在状態を判定する能力を獲得できる。

学習装置２００は、一般的なコンピュータ上で所定のプログラムを実行させることによって実装してもよい。このとき、学習処理の処理量が多いので、高速で動作するＣＰＵを備えたコンピュータを用いるとよい。ＧＰＵを用いると、繰り返し演算処理を高速化できる。ブレードコンピュータをラックマウントしたサーバ装置を用いることで、処理を並列化してスループットを上げることができる。複数の依頼者からの依頼を受け付ける場合、サーバ装置を多重化して並列度を上げることができる。

図６は、状態判定システム１を構成する各装置のハードウェア構成の一例を示すブロック図である。状態判定装置１００、学習装置２００、学習データ作成装置３００、学習データベース装置４００などの各装置は、同図に示すように、ＣＰＵ６１０、ＲＯＭ６２０やＲＡＭ６３０等のメモリ、各種の情報を記憶する記憶装置６４０、入出力部６５０、通信部６６０及びこれらを結ぶネットワークないしバスを備える汎用又は専用のコンピュータを適用することができる。各装置は、例えば、ＣＰＵ６１０が、メモリ又は記憶装置６４０に記憶された所定のプログラムを実行することにより、上述した機能ブロックを実現し得る。プログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、各装置を構成するコンピュータにインストール又はロードすることができる。

次に、図７乃至図９を参照して本実施形態に係るシステムの処理フローについて説明する。

図７は、本実施形態に係る学習データ作成装置３００における学習データ作成処理のフローチャートである。学習データ作成処理は、状態判定装置１００によって物体の認識処理が実行されるのに先立って行われる処理である。はじめに、学習データ作成装置３００は、複数の電極１１周辺にある物体の存在状態に関する情報を含む教師データを作成する（Ｓ１０）。教師データには、複数の電極１１の配置に関する情報を含めてもよい。ここで、物体の存在状態に関する情報は、ユーザによって学習データ作成装置３００の入力部（不図示）により入力されたものであってよい。ユーザは、物体の存在状態に関する情報として、例えば、物体の位置、角度、種類、材質及び分布を表す数値を入力する。学習データ作成装置３００は、入力された数値から物体の存在状態に関する情報を表すベクトルを構成して教師データに含めてよい。また、電極１１の配置に関する情報は、ユーザによって学習データ作成装置３００の入力部により入力されたものであってよい。ユーザは、例えば、電極の大きさや位置、角度、材質を入力し、学習データ作成装置３００は、それらの数値から電極の配置に関する情報を表すベクトルを構成して教師データに含めてよい。また、電極群１０に対して予め電極の配置に関する情報が付与されている場合には、その情報を参照してもよい。

教師データは、物体の存在状態に関する情報として画像又は動画を含んでもよい。物体の存在状態を画像又は動画により示すことで、ユーザが物体の存在状態を数値化する必要が無くなり、物体の存在状態を客観的に示すことができ、客観性の高いニューラルネットワークの学習が行え、より汎用性の高いニューラルネットワークの学習結果が得られる。

複数の電極１１が移動可能又は回転可能に設けられている場合、学習データ作成装置３００の指示に応じて、ユーザ、ロボット又は状態判定装置１００は、個々の電極１１を教師データの配置にする（Ｓ１１）。電極１１の配置を固定せず、電極１１を物体に対してより柔軟に配置することで、物体の存在状態をより詳細に反映した学習データを生成し得る。なお、複数の電極１１が固定されて設けられている場合、個々の電極１１を教師データの配置にするステップは省略可能である。

学習データ作成装置３００は、物体の存在状態を、教師データに含まれる物体の存在状態に関する情報に基づいた存在状態に設定する（Ｓ１２）。次に、学習データ作成装置３００は、電極ペアリストを参照して、電極群１０から電極ペアを選択する（Ｓ１３）。学習データ作成装置３００は、例えば、選択された電極ペアに所定の電圧を印加して、静電容量を計測し（Ｓ１４）、計測した静電容量を静電容量パターンベクトルに記録する（Ｓ１５）。静電容量パターンベクトルは、計測された静電容量の値を要素に含むベクトルである。

学習データ作成装置３００は、電極ペアリストに含まれる電極ペアのうち、選択されていない電極ペアの組み合わせが残されているか否かを判断する（Ｓ１６）。選択されていない電極ペアの組み合わせが残されている場合（Ｓ１６：Ｙｅｓ）、ステップＳ１３に戻り、新たな電極ペアを選択して、新たな電極ペアについて静電容量の計測を行い、静電容量パターンベクトルに追加する。選択されていない電極ペアの組み合わせが電極ペアリストに残されていない場合（Ｓ１６：Ｎｏ）、得られた静電容量パターンに教師データを付与する（Ｓ１７）。その後、学習データ作成装置３００は、得られた静電容量パターンを教師データと関連付けて、学習データベース装置４００に記録する（Ｓ１８）。

学習データ作成装置３００は、物体の他の存在状態について静電容量パターンを計測するか否かを判断する（Ｓ１９）。物体の他の存在状態について静電容量パターンを計測する場合（Ｓ１９：Ｙｅｓ）、学習データ作成装置３００は、ステップＳ１０に戻り、上述した処理を他の物体について再び実行する。一方、物体の他の存在状態について静電容量パターンを計測しない場合（Ｓ１９：Ｎｏ）、学習データ作成装置３００は、電極群１０の他の電極配置があるか否かを判断する（Ｓ２０）。電極群１０の他の電極配置がある場合（Ｓ２０：Ｙｅｓ）、学習データ作成装置３００は、以上説明した処理を当該他の電極配置について再び実行する。一方、電極群１０の他の電極配置が無い場合（Ｓ２０：Ｎｏ）、学習データ作成装置３００による学習データ作成処理が終了する。

本実施形態に係る学習データ作成装置３００によれば、電極群１０に関して計測された物体に関する静電容量パターンを含む学習データと、物体の存在状態に関する情報を含む教師データとを関連付けて作成することができる。学習装置２００は、静電容量パターンを含む学習データと教師データを用いて学習することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の存在状態をより詳細に判定する能力を獲得できるようになる。

図８は、本実施形態に係る学習装置２００における学習処理のフローチャートである。ここでは、学習データ作成装置３００による学習データ作成処理が行われた後に学習処理が実行されるものとして説明するが、これに限られず、例えば、学習データ作成装置３００による学習データ作成処理と並行して学習処理を実行してもよい。はじめに、学習装置２００は、学習データベース装置４００にアクセスし（Ｓ３０）、学習に用いる学習データを指定する（Ｓ３１）。学習装置２００は、指定した学習データに含まれる静電容量パターンを順次読み込み、ニューラルネットワーク２１０の学習を行う（Ｓ３２）。ニューラルネットワーク２１０の学習は、例えば誤差逆伝播法により実行される学習であってよい。学習装置２００は、学習結果抽出部２３０によってニューラルネットワーク２１０が学習した結果を抽出し、学習結果出力部２４０によって、通信部２５０を介して学習結果を学習データベース装置４００又は任意の外部記憶装置に出力する（Ｓ３３）。

最後に、学習装置２００は、さらに別の学習を行うか否かを判断する（Ｓ３４）。別の学習を行う場合（Ｓ３４：Ｙｅｓ）、異なる学習データを指定して、ニューラルネットワークの学習を再び実行する。別の学習を行わない場合（Ｓ３４：Ｎｏ）、学習処理は終了する。

図９は、本実施形態に係る状態判定装置１００における物体の認識処理のフローチャートである。物体の認識処理は、典型的には、学習装置２００によってニューラルネットワークの学習が行われた後に行われる処理である。はじめに、状態判定装置１００は、学習データベース装置４００にアクセスして、学習装置２００により出力された学習結果を学習結果入力部１７１により入力し、ニューラルネットワーク設定部１７３によってニューラルネットワーク１７５を構成する（Ｓ４０）。これにより、ニューラルネットワーク１７５は、学習装置２００における学習の結果として獲得された能力を再現することができるようになる。

複数の電極１１の周辺に認識しようとする物体があるときに、状態判定装置１００は、複数の電極１１のうちから複数通りの電極ペアを選択して、当該物体についての静電容量パターンを計測し（Ｓ４１）、ニューラルネットワーク入力部１７４が、ニューラルネットワーク１７５に静電容量パターンを入力する（Ｓ４２）。この入力に対して、ニューラルネットワーク１７５は、演算を行い（Ｓ４３）、ニューラルネットワーク出力部１８０は、演算結果を出力する。状態判定装置１００は、出力された演算結果から、物体の存在状態を判定し、すなわち物体の認識結果を生成し（Ｓ４４）、物体の認識結果を出力する（Ｓ４５）。出力される認識結果は、例えば、物体の存在の有無、位置、種類、姿勢、材質、分布などであるが、これらに限られない。

状態判定装置１００は、物体の認識処理を終了するか否かを判断し（Ｓ４６）、物体の認識動作を終了しない場合（Ｓ４６：Ｎｏ）、静電容量パターンを更新して、ニューラルネットワーク１７５による物体の認識処理を再び実行する。物体の認識動作を終了する場合（Ｓ４６：Ｙｅｓ）、物体の認識処理を終了する。

以上詳述したとおり、本実施形態に係る状態判定装置１００によれば、電極群１０に含まれる複数の電極１１のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、静電容量パターンに基づいて物体の存在状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の存在状態をより詳細に判定することができる。

［第２実施形態］
次に、第２実施形態として、状態判定システム１をロボットハンドに適用した実施形態について説明する。

図１０は、電極１１がロボットハンド７００に設けられている様子を示す図である。同図に示すとおり、本実施形態では、複数の電極１１及びガード電極１２がロボットハンド７００に設けられる。後述するように、状態判定装置１００が、ロボットハンド７００に設けられた複数の電極１１について静電容量パターンを計測し、ロボットハンド７００によって把持されたり操作されたりする物体ＯＢの存在状態を判定する。ここで、ロボットハンド７００は、典型的には、多関節のアーム部分と、アーム部分の先端に設けられた多肢多関節のハンド部分とから構成される。なお、複数の電極をロボットハンド７００に設ける態様は、例示であって、複数の電極の設置個所はロボットハンド７００に限られず任意である。

電極１１は、平面導体で構成され、ロボットハンド７００の手のひら側に設けられる。本例では、電極１１は、各指先と、各指の第２関節と第３関節の間と、手のひらと、にそれぞれマトリクス状に並んで設けられている。ガード電極１２は、複数の電極１１の少なくとも一部を囲むように配置され、平面導体で構成される。ガード電極１２は、ロボットハンド７００の手のひら側に設けられ、本例では、各指先と、各指の第２関節と第３関節の間と、手のひらと、にそれぞれ電極１１を囲むように設けられている。なお、同図に示した電極１１及びガード電極１２の配置は例示であり、電極１１及びガード電極１２の配置は任意である。電極１１が小さいほど、より小さい領域に関する物体ＯＢの状態を判定でき電極１１が大きいほど、より大きい領域に関する物体ＯＢの状態を判定できる。

ロボットハンド７００の前方には、物体ＯＢが配置されている。物体ＯＢは、任意の物体であり、液体や気体であってもよい。物体ＯＢは、人体等の生物であってもよいし、工具等の非生物であってもよい。また、物体ＯＢは、導電体、半導体及び絶縁体のいずれであってもよいし、透明物体でも不透明物体でもよい。

複数の電極１１をロボットハンド７００に設けて、複数の電極１１の静電容量パターンから物体ＯＢの状態を判定することで、ロボットハンド７００によって把持されたり操作されたりする物体の状態を判定することができ、ロボットハンド７００によるより精密な動作を支援することができる。例えば、ロボットハンド７００によって物体を把持する場合に、ロボットハンド７００の複数の指を物体に対して均等に近付けるよう動作させることができる。

図１１は、第２実施形態に係る状態判定装置１００の機能ブロック図である。状態判定装置１００は、電極１１及びガード電極１２に接続され、選択部１３０、電圧印加部１４０、静電容量パターン計測部１５０、ニューラルネットワーク１７５、配置取得部１６１及び環境測定部１６２を備える。なお、状態判定装置１００は、物理的な構成として、入力部（キーボードやマウス等）、出力部（液晶ディスプレイデバイス等）、ハードウェアプロセッサに相当する演算部（ＣＰＵやＧＰＵ等）、メモリに相当する記憶部（ＨＤＤ、ＳＳＤや半導体メモリ等）を備える。同図に示す機能ブロックは、状態判定装置１００の備える物理的構成を用いて発揮される機能を表すものであり、必ずしも物理的な構成と一対一に対応するものではない。

本実施形態において、電極１１及びガード電極１２は、ロボットハンド７００に設けられ、全ての電極１１及びガード電極１２が移動可能かつ回転可能に設けられる。選択部１３０及び静電容量パターン計測部１５０は、図４を用いて説明したものと同様の機能を有する。

電圧印加部１４０は、選択部１３０により選択された複数の電極ペアに対して、所定の電圧を印加する。電圧印加部１４０は、選択部１３０により選択された電極ペアの一方と、ガード電極１２と、に基準電位を印加する。ここで、基準電位はグラウンド電位であってよいが、それに限られない任意の電位であってもよい。電圧印加部１４０は、選択部１３０により選択された電極ペアに対して、直流電圧を印加してもよいし、交流電圧を印加してもよい。

電圧印加部１４０により電極ペアの一方とガード電極１２に基準電位を印加することで、ガード電極１２によって電界が遮蔽され、電極１１の２つの面のうち片面側のみの静電容量パターンを計測することができ、物体ＯＢの状態を判定する範囲を制限することができる。これにより、例えば、ロボットハンド７００自体の影響や、ロボットハンド７００の手の甲側に置かれた物体の影響を受けることなく、ロボットハンド７００の手のひら側に置かれた物体ＯＢの状態を判定することができる。なお、電極１１の一部に基準電位を印加することで、電極１１の一部をガード電極１２として機能させてもよい。

配置取得部１６１は、複数の電極１１の配置を取得する。本実施形態に係る複数の電極１１は、ロボットハンド７００に設けられるため、配置取得部１６１は、ロボットハンド７００に含まれる各関節の角度を取得し、ロボットハンド７００上の複数の電極１１の配置を算出してもよい。ニューラルネットワーク１７５は、静電容量パターン計測部１５０により計測された静電容量パターン及び配置取得部１６１により取得された複数の電極１１の配置を入力データとして、ロボットハンド７００の周辺にある物体の存在状態を判定することができるように学習済みのニューラルネットワークである。

環境測定部１６２は、静電容量パターン計測部１５０により複数の電極１１の静電容量パターンを計測する際の環境に関する環境データを測定する。ここで、環境データとは、複数の電極１１の置かれる環境を特徴付ける物理量である。環境データは、特に、静電容量の変動をもたらすような環境に関するデータを含む。本実施形態において、環境データは、湿度及び電磁ノイズのうち少なくともいずれかを含む。湿度の変化及び電磁ノイズの強弱は、誘電率の変化や静電容量パターン計測部１５０を構成する電気回路の電気的状態の変化をもたらし、計測される静電容量が変動する一因となる。ニューラルネットワーク１７５は、静電容量パターン計測部１５０により計測された静電容量パターン及び環境測定部１８により測定された環境データを入力データとして、物体の状態を判定してもよい。判定結果は、ニューラルネットワーク出力部１８０（図１１には不図示）で出力される。

環境測定部１６２は、状態判定装置１００によって状態判定処理を実行する間、継続して環境データを測定してもよい。環境データを測定することで、静電容量パターンの環境依存性を考慮した状態判定を行うことができ、測定環境の変化に起因する状態判定の誤差を低減することができる。

本実施形態では、環境測定部１６２は、環境データとして湿度及び電磁ノイズを測定する。これにより、静電容量パターンに対して特に影響を及ぼす湿度及び電磁ノイズの依存性を考慮した状態判定を行うことができ、湿度の変化及び電磁ノイズの強弱に起因する状態判定の誤差を低減することができる。

状態判定装置１００のニューラルネットワーク１７５には、学習装置２００において、物体の存在状態を判定する能力を備えるように学習された、学習済みのニューラルネットワークが用いられる。学習の手法は、第１実施形態と同様に、学習データ作成装置３００で作成し、学習データベース装置４００に蓄積された学習データを用いて学習を行うことができる。

具体的な一例としては、ロボットハンド７００に対して所定の状態に用意された物体ＯＢについて、ロボットハンド７００を所定の配置に設定し、複数の電極１１及びガード電極１２を所定の配置に設定した上で、学習データ作成装置３００は、選択された複数の電極ペアによって計測される静電容量パターンを構成して学習データを作成し、教師データと関連付けて学習データベース装置４００に格納する。設定される電極の配置は、学習データ作成装置３００の記憶部に予め記憶された電極の配置リストに従ったものであってもよいし、学習データ作成装置３００のユーザによる入力に従うものであってもよいし、ランダムに行われるものであってもよい。学習データ作成装置３００は、配置取得部１６１により取得された複数の電極１１の配置や、環境測定部１６２により測定された環境データを、学習データ又は教師データに含めてもよい。

学習装置２００は、学習データ作成装置３００に蓄積された学習データ及び教師データを用いて機械学習を行うことによって、所定の能力を備えた学習済みのニューラルネットワークを得ることができる。例えば、環境データを含む学習データによって機械学習を行うことで、静電容量パターンの計測環境が変化する場合であっても、静電容量パターンの環境依存性を考慮した状態判定を行い、状態判定の誤差を低減することのできる学習結果が得られる。

［第３実施形態］
次に、第３実施形態として、状態判定システム１を自動車等のシートに適用した実施形態について説明する。

図１２は、第３実施形態において、複数の電極１１がシート８００に設けられている様子を示す図である。第３実施形態においては、複数の電極１１がシート８００に設けられており、ガード電極１２を有さない点で、第２実施形態に係る状態判定システムと相違する。その他の構成について、第３実施形態に係る状態判定システムは、第２実施形態に係る状態判定システムと同様の構成を有する。

複数の電極１１をシート８００に設けて、静電容量パターンを計測し、学習済みのニューラルネットワークにより物体の存在状態を判定することで、シート８００に着座する者の状態について、体格や姿勢等の詳細を判定することができる。例えば、自動車のシートに着座する自動車の運転手の状態を判定することで、運転手が覚醒状態にあるか否か（運転手が居眠りをしているか否か）を判断することができる。運転手が覚醒状態に無いと判断された場合には、警告音を発生させる等して、事故を防止することができる。

本発明は、以上説明した第１実施形態、第２実施形態及び第３実施形態と異なる構成によって実施してもよい。例えば、複数の電極１１を工作機械等に設置して、人や物の接近等を判定し、接触防止センサとして用いることができる。また、例えば、複数の電極１１を自動車のフロントガラスに設置して、降雨による雨滴の状態を判定する雨滴センサとして用いることができる。この場合、複数の電極１１は透明電極で構成することが望ましい。また、例えば、複数の電極１１を自動車のフロントパネルや底面に設置して、路面の状態を判定する路面センサとして用いることができる。また、例えば、複数の電極１１を自動車のドアハンドルに設置して、ドアに近づく手を判定し、ドアロックの実行又は解除を意図した手の動きであるか否かを判断し、ドアロックの実行及び解除を行うことができる。また、例えば、複数の電極１１をバスの乗降口周辺やトラックの荷台出口周辺に設置して、乗降客や荷物の状態の判定をすることができる。また、例えば、複数の電極１１を自動車の内部に設置して、手のジェスチャー状態を判定し、オーディオ機器の操作、ドアやトランクの開閉及びパワーウィンドウの開閉といった指令を行うことができる。また、例えば、複数の電極１１を自動車の外部に設置して、車両盗難等の違法行為に用いられる道具や違法行為に伴う動作を判定し、防犯センサとして用いることができる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
少なくとも１つのメモリと、前記メモリと接続された少なくとも１つのハードウェアプロセッサとを備え、
前記ハードウェアプロセッサが、
複数の電極のうちから複数の電極ペアを選択し、
選択された複数の電極ペアについての静電容量パターンを計測し、
計測された静電容量パターンから物体の状態を、学習済みのニューラルネットワークにより判定する、
状態判定装置。

（付記２）
複数の電極の周辺にある物体の状態を判定する状態判定方法であって、
少なくとも１つのハードウェアプロセッサによって、複数の電極のうちから複数の電極ペアを選択し、
前記ハードウェアプロセッサによって、選択された複数の電極ペアについての静電容量パターンを計測し、
前記ハードウェアプロセッサによって、計測された静電容量パターンから物体の状態を、学習済みのニューラルネットワークにより判定する、
状態判定方法。

１…状態判定システム、１０…電極群、１０ａ…第１電極群、１０ｂ…第２電極群、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅ，１１ｆ…電極、２０…電極接続部、３０…選択部、５０…静電容量パターン計測部、６０…静電容量パターン学習部、７０…静電容量パターン認識部、８０…認識結果出力部、１００…状態判定装置、１２０…電極接続部、１３０…選択部、１４０…電圧印加部、１５０…静電容量パターン計測部、１６１…配置取得部、１６２…環境測定部、１７１…学習結果入力部、１７２…制御部、１７３…ニューラルネットワーク設定部、１７４…ニューラルネットワーク入力部、１７５…ニューラルネットワーク、１８０…ニューラルネットワーク出力部、１９０…通信部、２００…学習装置、２１０…ニューラルネットワーク、２２０…学習制御部、２３０…学習結果抽出部、２４０…学習結果出力部、２５０…通信部、３００…学習データ作成装置、４００…学習データベース装置、６１０…ＣＰＵ、６２０…ＲＯＭ、６３０…ＲＡＭ、６４０…記憶装置、６５０…入出力部、６６０…通信部、７００…ロボットハンド、８００…シート、Ｎ…ネットワーク、ＯＢ…物体。

Claims (14)

1. 複数の電極の周辺にある物体の状態を判定する状態判定装置であって、
   前記複数の電極のうちから複数の電極ペアを選択する選択部と、
   前記選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部と、
   前記静電容量パターンから前記物体の状態を判定するよう学習済みのニューラルネットワークと、
   を備える状態判定装置。
2. 前記状態判定装置は、前記複数の電極の配置を取得する配置取得部をさらに備え、
   前記ニューラルネットワークは、前記配置取得部により取得された前記複数の電極の配置をさらに含むデータから前記物体の状態を判定する、
   請求項１に記載の状態判定装置。
3. 前記状態判定装置は、
   前記複数の電極のうち前記選択部により選択された複数の電極ペアの各々に対して、所定の電圧を印加する電圧印加部と、
   前記複数の電極の少なくとも一部を囲むように配置されるガード電極と、をさらに備え、
   前記電圧印加部は、前記複数の電極のうち前記選択部により選択された電極ペアの一方と、前記ガード電極と、に基準電位を印加する、
   請求項１又は２に記載の状態判定装置。
4. 前記状態判定装置は、前記静電容量パターン計測部により前記複数の電極ペアの静電容量パターンを計測する際の環境に関する環境データを測定する環境測定部をさらに備え、
   前記ニューラルネットワークは、前記環境測定部により測定された環境データをさらに含むデータから前記物体の状態を判定する、
   請求項１から３のいずれか１項に記載の状態判定装置。
5. 前記環境測定部により測定される環境データは、湿度及び電磁ノイズのうち少なくともいずれかを含む、
   請求項４に記載の状態判定装置。
6. 前記ニューラルネットワークは、前記物体の有無、前記物体の位置、前記物体の角度、前記物体の種類、前記物体の材質及び前記物体の分布のうち少なくともいずれかを判定する、
   請求項１から５のいずれか１項に記載の状態判定装置。
7. 前記複数の電極は、ロボットハンドに設けられている、
   請求項１から６のいずれか１項に記載の状態判定装置。
8. 前記複数の電極は、シートに設けられている、
   請求項１から６のいずれか１項に記載の状態判定装置。
9. 請求項１から８のいずれか１項に記載の状態判定装置において使用されるニューラルネットワークの学習を行うための学習装置であって、
   前記学習装置は、
   前記複数の電極のうちから選択された複数の電極ペアについての静電容量パターンを含む学習データにより前記ニューラルネットワークの学習を行うよう制御する学習制御部、
   を備える学習装置。
10. 前記学習データは、前記複数の電極の配置に関するデータを含む、
    請求項９に記載の学習装置。
11. 前記学習データは、前記静電容量パターンを計測する際の環境に関する環境データを含む、
    請求項９又は１０に記載の学習装置。
12. 前記学習制御部は、前記学習データ及び教師データにより、前記ニューラルネットワークの学習を行い、
    前記教師データは、前記物体の状態を示す画像又は動画を含む、
    請求項９から１１のいずれか１項に記載の学習装置。
13. 複数の電極の周辺にある物体の状態を判定する状態判定方法であって、
    前記複数の電極のうちから複数の電極ペアを選択する第１ステップと、
    前記第１ステップにおいて選択された複数の電極ペアについての静電容量パターンを計測する第２ステップと、
    前記第２ステップにおいて計測された静電容量パターンから前記物体の状態を、学習済みのニューラルネットワークにより判定する第３ステップと、
    を含む状態判定方法。
14. 複数の電極の周辺にある物体の状態を判定する状態判定装置が備えるコンピュータを、
    前記複数の電極のうちから複数の電極ペアを選択する選択部、
    前記選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部、及び
    前記静電容量パターンから前記物体の状態を判定するよう学習済みのニューラルネットワーク、
    として機能させるためのプログラム。