[go: up one dir, main page]

JP6190680B2 - 推定方法及び推定装置 - Google Patents

推定方法及び推定装置 Download PDF

Info

Publication number
JP6190680B2
JP6190680B2 JP2013197135A JP2013197135A JP6190680B2 JP 6190680 B2 JP6190680 B2 JP 6190680B2 JP 2013197135 A JP2013197135 A JP 2013197135A JP 2013197135 A JP2013197135 A JP 2013197135A JP 6190680 B2 JP6190680 B2 JP 6190680B2
Authority
JP
Japan
Prior art keywords
voice
drug
subject
data
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013197135A
Other languages
English (en)
Other versions
JP2015062479A (ja
Inventor
晋太 木村
晋太 木村
愼二 平井
愼二 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Animo Ltd
National Hospital Organization
Original Assignee
Animo Ltd
National Hospital Organization
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Animo Ltd, National Hospital Organization filed Critical Animo Ltd
Priority to JP2013197135A priority Critical patent/JP6190680B2/ja
Publication of JP2015062479A publication Critical patent/JP2015062479A/ja
Application granted granted Critical
Publication of JP6190680B2 publication Critical patent/JP6190680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、薬物摂取反復者を推定するための技術に関する。
薬物摂取反復者は、薬物に関連する刺激を受けることで反応する。薬物摂取反復者の行動は、第一信号系(過去の体験により獲得した無意識的に定型的行動を司る神経活動の系)と、第二信号系(意識的に行動を司る神経活動の系。すなわち思考が機能する系。)で制御されるのであり、薬物を摂取する動作が第二信号系により生じなくても、第一信号系の活動により種々の変調が生じていることがある。このような観点で、薬物摂取反復者を捉えるような技術は存在していない。
特開2013−16038号公報 特開2007−296169号公報
平井愼二、「覚せい剤反復接取に対する条件反射抑制療法」、精神科、2008年、13(1)、p.1−12
従って、本発明の目的は、薬物摂取反復者を推定できるようにするための技術を提供することである。
本発明に係る判定方法は、(A)被験者に対して薬物に関する視覚的な刺激を与える前の第1の音声データを取得するステップと、(B)被験者に対して上記刺激を与えた後の第2の音声データを取得するステップと、(C)第1の音声データから予め定められた第1の音声パラメータを算出するステップと、(D)第2の音声データから予め定められた第2の音声パラメータを算出するステップと、(E)第1の音声パラメータと第2の音声パラメータとの比較結果に基づき、被験者について薬物摂取反復の可能性の有無を判定するステップとを含む。
薬物に関連する視覚刺激を薬物摂取反復者に与えれば過去の薬物摂取反復で第一信号系に成立した定型的な神経活動で引き起こされる特有の反応が生じ、その反応を音声から検出できるため、薬物摂取反復者であることを推定できるようになる。
なお、上記判定方法は、(F)被験者に対して薬物に関する視覚的な刺激を与える行程において、薬物に関する映像を出力するステップをさらに含むようにしても良い。物体でなくても、映像でも同様の効果を得ることができる。
さらに、上で述べた第1の音声パラメータ及び第2の音声パラメータが、スペクトル包絡情報、発声スピード及びピッチ周波数情報のうちの少なくとも1つについての統計情報(例えば平均値、分散、標準偏差など)である場合もある。このような1又は複数の音声パラメータを用いることで、適切に判定できるようになる。
なお、上で述べた第1の音声データと第2の音声データとが、同一の単語、単語列又は文章についての音声データである場合もある。このようにすれば適切に音声パラメータを算出できる。但し、完全に同一でなくてもよい。
なお、上記方法をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
一側面によれば、薬物摂取反復者を推定できるようになる。
図1は、第1の実施の形態に係るシステムの概要を示す図である。 図2は、第1の実施の形態に係るシステムの構成例を示す図である。 図3は、第1の実施の形態に係る処理フローを示す図である。 図4は、第1の実施の形態に係る処理フローを示す図である。 図5は、第2の実施の形態に係るシステムの構成例を示す図である。 図6は、第2の実施の形態に係る端末装置の構成例を示す図である。 図7は、第2の実施の形態に係る処理フローを示す図である。 図8は、コンピュータの機能ブロック図である。
[実施の形態1]
本実施の形態におけるシステムの概要を図1に示す。
本実施の形態におけるシステムにおいては、薬物関連の物体等が陳列された陳列室200の前後に、音声データを取得するための端末装置100A及び100Bを配置している。これらの端末装置100A及び100Bと、本実施の形態に係る主要な処理を実行する情報処理装置300と、管理者端末400とが、例えばLAN(Local Area Network)500とで接続されている。
被験者は、例えば端末装置100Aで、指定された単語、単語列又は文章を読み、その音声データは端末装置100Aに入力される。端末装置100Aは、入力された音声データを処理して、処理結果を情報処理装置300へ送信する。なお、この際、陳列室200内部を観察できないような状態とする。
その後、被験者は、陳列室200に入室して、薬物関連の物体等を見ることで視覚的な刺激を受け、陳列室200を退出する。
被験者は、陳列室200を退出した後に設置された端末装置100Bで、例えば陳列室200への入室前と同じ単語、単語列又は文章を読み、その音声データは端末装置100Bに入力される。端末装置100Bは、入力された音声データを処理して、処理結果を情報処理装置300へ送信する。なお、端末装置100Aと端末装置100Bとを別に設けずに同じ装置を用いるようにしても良い。
情報処理装置300は、端末装置100A及び100Bから処理結果をLAN500を介して受信すると、以下で説明する処理をさらに行って、被験者が薬物摂取反復者である可能性があるか否かを判断する処理を行う。情報処理装置300は、判断結果を、LAN500を介して管理者端末400に送信する。管理者は、管理者端末400が受信して、表示装置に表示した結果に基づき、被験者に対してさらなる検査を行うか否か等を決定する。
次に、図1に示したコンピュータシステムの構成例を図2を用いて説明する。端末装置100A及び100Bは、マイク101と、音声入力処理部102と、分析処理部103と、送信部104と、データ格納部105とを有する。
音声入力処理部102は、マイク101を介して入力された音声データを、データ格納部105に格納する。分析処理部103は、データ格納部105に格納された音声データから、予め定められた音声パラメータを算出し、データ格納部105に格納する。送信部104は、情報処理装置300へ、算出された音声パラメータを送信する。なお、ここでは端末装置100A及び100Bが分析処理部103を有している例を示しているが、分析処理部103を有していない場合もあり、この場合には、送信部104は、音声データを情報処理装置300へ送信する。
また、情報処理装置300は、受信部301と、動揺成分検出部302と、判定部303と、出力部305と、データ格納部304とを有する。なお、端末装置100A及び100Bに分析処理部103が設けられていない場合には、情報処理装置300が、分析処理部306を有することになる。
受信部301は、端末装置100A及び100Bからデータを受信すると、データ格納部304に格納する。動揺成分検出部302は、端末装置100Aで取得された音声データに基づく音声パラメータと、端末装置100Bで取得された音声データに基づく音声パラメータとから動揺成分を算出する。判定部303は、動揺成分検出部302からの出力に基づき、被験者が薬物摂取反復者の可能性が高いか否かを判定する。出力部305は、判定部303の判定結果を、LAN500を介して管理者端末400に送信する。管理者端末400は、判定結果を表示装置に表示し、管理者に判断させる。
次に、本実施の形態に係るシステムの処理内容について、図3及び図4を用いて説明する。
まず、端末装置100Aの音声入力処理部102は、薬物関連の物体などが陳列された陳列室200の前で、薬物関連の刺激を与える前に、所定の単語、単語列又は文章を、例えば表示装置に表示して、被験者に当該文章等を読み上げるように促す(ステップS1)。音声入力処理部102は、被験者の発声内容をディジタル録音して、入力音声データを生成し、データ格納部105に格納する(ステップS3)。そして、分析処理部103は、データ格納部105に格納されている入力音声データから、予め定められた音声パラメータ(以下、刺激前音声パラメータと呼ぶ)を算出し、データ格納部105に格納する(ステップS5)。
予め定められた音声パラメータは、例えば、韻律情報を表す発声スピードの、発声全体に対する平均値及び分散(若しくは標準偏差)、ピッチ周波数の、発声全体に対する平均値及び分散(若しくは標準偏差)、声道形を表すスペクトル包絡情報などである。スペクトル包絡情報は、FFT(Fast Fourier Transformation)ケプストラム、LPC(Linear Predictive Coding)ケプストラム、周波数帯域が異なる複数のバンドパスフィルタの出力値を含む。このようなスペクトル包絡情報は、具体的には入力音声データのフレーム毎(例えば数十m秒)に算出されるベクトル(n次元)の平均ベクトル又は共分散行列(n×n次元)である。
予め定められた音声パラメータについては、これらのうち1又は複数のパラメータを採用する。
そして、送信部104は、ステップS5で算出された刺激前音声パラメータを、情報処理装置300へ送信する(ステップS7)。これに対して、情報処理装置300の受信部301は、刺激前音声パラメータを端末装置100Aから受信すると、データ格納部304を格納する(ステップS9)。
その後、被験者は、陳列室200に入って、薬物関連の物体などを見ることで、薬物関連の刺激を受けることになる。
そして、被験者は、陳列室200から出ると、端末装置100Bのところへ行く。端末装置100Bの音声入力処理部102は、薬物関連の刺激を与える前と同じ所定の単語、単語列又は文章を、例えば表示装置に表示して、被験者に当該文章等を読み上げるように促す(ステップS11)。音声入力処理部102は、被験者の発声内容をディジタル録音して、入力音声データを生成し、データ格納部105に格納する(ステップS13)。そして、分析処理部103は、データ格納部105に格納されている入力音声データから、予め定められた音声パラメータ(以下、刺激後音声パラメータと呼ぶ)を算出し、データ格納部105に格納する(ステップS15)。
そして、送信部104は、ステップS15で算出された刺激後音声パラメータを、情報処理装置300へ送信する(ステップS17)。これに対して、情報処理装置300の受信部301は、刺激後音声パラメータを端末装置100Bから受信すると、データ格納部304に格納する(ステップS19)。処理は端子Aを介して図4の処理に移行する。なお、被験者は、処理が完了するまで待機することになる。
図4において、情報処理装置300の動揺成分検出部302は、端末装置100Aから受信した刺激前音声パラメータと、端末装置100Bから受信した刺激後音声パラメータとの差(より具体的には絶対値)を、動揺成分として算出する(ステップS21)。
例えば、音声パラメータが平均値であれば、平均値の差を算出し、音声パラメータが分散又は標準偏差であれば、分散又は標準偏差の差を算出する。また、平均ベクトルであれば、平均ベクトルの差ベクトルの大きさ、共分散行列の主要な主要成分ベクトルの差ベクトルの大きさを算出する。
なお、平均値や分散又は標準偏差であれば、比を動揺成分として算出するようにしても良い。
そして、判定部303は、算出された動揺成分が閾値以上であるか否かを判断する(ステップS23)。複数の音声パラメータを算出する場合には、全ての音声パラメータについての動揺成分が閾値以上となっているか判断する場合もあれば、動揺成分を重み付け加算して閾値以上となるか判断しても良いし、所定個数の動揺成分が閾値以上となっているかを判断しても良い。
算出された動揺成分が閾値以上であれば、判定部303は、出力部305に、薬物摂取反復者の可能性有りを表すメッセージを、管理者端末400へ送信させる(ステップS25)。一方、算出された動揺成分が閾値未満であれば、判定部303は、出力部305に、薬物摂取反復者の可能性なしを表すメッセージを、管理者端末400へ送信させる(ステップS27)。
これによって、管理者端末400で、管理者は被験者に対する判定結果を確認できる。
すなわち、薬物摂取反復者であれば、薬物関連の物体等によって第一信号系により引き起こされる動揺が音声データに無意識に反映されるので、上記のように音声パラメータに基づく動揺成分が閾値以上となる。一方、非薬物摂取反復者であれば、音声パラメータに基づく動揺成分にほとんど変化は現れない。
なお、上で述べたシステム例は一例であり、例えば、情報処理装置300と管理者端末400が同一である場合もある。この場合、出力部305は、表示装置に、判定部303による判定結果を出力する。
また、図1では、2台の端末装置100A及び100Bを用いたが、例えば、陳列室200に入った後に端末装置100Aに戻って、端末装置100Aにおいて、刺激後の音声データを取得するようにしても良い。
さらに、上で述べたように、分析処理部103については、端末装置100A及び100Bに設けても良いし、情報処理装置300に設けても良い。
[実施の形態2]
第1の実施の形態のように陳列室200を設けずに、端末装置において、陳列室200に展示されていた薬物関連の物体等と同等の画像又は映像を表示装置に表示することで、システムを簡略化しても良い。
例えば、図5に示すように、表示装置150を有する端末装置100Cを、無線又は有線のLANを介して、管理者端末400に接続するようなシステムを採用する。
この場合、端末装置100Cは、図6に示すように、マイク101と、音声入力処理部102cと、分析処理部103cと、動揺成分検出部104cと、判定部105cと、出力部106cと、画像出力部108cと、データ格納部107cとを有する。
マイク101、音声入力処理部102c及び分析処理部103cについては、端末装置100A及び100Bについてのマイク、音声入力処理部102及び分析処理部103と同様の機能を有する。
また、動揺成分検出部104c、判定部105c及び出力部106cについては、情報処理装置300における動揺成分検出部302、判定部303及び出力部305と同様の機能を有する。
画像出力部108cは、音声入力処理部102cと連携して、例えばデータ格納部107cに格納されている薬物関連の物体等と同等の画像データ又は映像データを、表示装置に表示する
次に、本実施の形態に係るシステム処理内容を図7を用いて説明する。
端末装置100Cの音声入力処理部102cは、薬物関連の刺激を与える前に、所定の単語、単語列又は文章を、例えば表示装置150に表示して、被験者に当該文章等を読み上げるように促す(ステップS31)。音声入力処理部102cは、被験者の発声内容をディジタル録音して、入力音声データを生成し、データ格納部107cに格納する(ステップS33)。そして、分析処理部103cは、データ格納部107cに格納されている入力音声データから、予め定められた音声パラメータ(すなわち刺激前音声パラメータ)を算出し、データ格納部107cに格納する(ステップS35)。音声パラメータは、第1の実施の形態と同様であるので、説明を省略する。
その後、画像出力部108cは、データ格納部107cから、薬物関連の物体等についての映像を、表示装置150に出力する(ステップS36)。これによって、陳列室200における刺激と同様の刺激を、被験者に与えることができる。
その後、端末装置100Cの音声入力処理部102cは、薬物関連の刺激を与える前と同じ所定の単語、単語列又は文章を、例えば表示装置150に表示して、被験者に当該文章等を読み上げるように促す(ステップS37)。音声入力処理部102cは、被験者の発声内容をディジタル録音して、入力音声データを生成し、データ格納部107cに格納する(ステップS39)。そして、分析処理部103cは、データ格納部107cに格納されている入力音声データから、予め定められた音声パラメータ(すなわち刺激後音声パラメータと呼ぶ)を算出し、データ格納部107cに格納する(ステップS41)。
そして、動揺成分検出部104cは、刺激前音声パラメータと刺激後音声パラメータとの差(より具体的には絶対値)を、動揺成分として算出する(ステップS43)。動揺成分については、第1の実施の形態と同様である。
そして、判定部105cは、算出された動揺成分が閾値以上であるか否かを判断する(ステップS45)。算出された動揺成分が閾値以上であれば、判定部105cは、出力部106cに、薬物摂取反復者の可能性有りを表すメッセージを、管理者端末400へ送信させる(ステップS47)。一方、算出された動揺成分が閾値未満であれば、判定部105cは、出力部106cに、薬物摂取反復者の可能性なしを表すメッセージを、管理者端末400へ送信させる(ステップS49)。
これによって、管理者端末400で、管理者は被験者に対する判定結果を確認できる。
このような簡易な構成であっても、第1の実施の形態と同様の効果を得ることができる。
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、端末装置や情報処理装置の機能ブロックは、プログラムモジュール構成とは一致しない場合もある。
また、処理フローについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数のステップを並列に実行するようにしても良い。
上で述べた例では、薬物関連の物体等についての視覚的な刺激の前後で同じ単語等を被験者に読ませているが、完全に一致しなくても良い。
なお、上で述べた端末装置100A、100B及び100C並びに情報処理装置300は、コンピュータ装置であって、図8に示すように、メモリ2501とCPU(Central Processing Unit)2503とハードディスク・ドライブ(HDD:Hard Disk Drive)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とスピーカ2518とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
100A,100B,100C 端末装置
200 陳列室
300 情報処理装置
400 管理者端末
101 マイク
102 音声入力部
103 分析処理部
104 送信部
105 データ格納部
301 受信部
302 動揺成分検出部
303 判定部
304 データ格納部
305 出力部

Claims (6)

  1. 被験者に対して薬物に関する視覚的な刺激を与える前の第1の音声データを取得するステップと、
    前記被験者に対して前記刺激を与えた後の第2の音声データを取得するステップと、
    前記第1の音声データから予め定められた第1の音声パラメータを算出するステップと、
    前記第2の音声データから予め定められた第2の音声パラメータを算出するステップと、
    前記第1の音声パラメータと前記第2の音声パラメータとの比較結果に基づき、前記被験者について薬物摂取反復の可能性の有無を判定するステップと、
    を含み、1又は複数のコンピュータにより実行される判定方法。
  2. 前記被験者に対して薬物に関する視覚的な刺激を与える行程において、薬物に関する映像を出力するステップ
    をさらに含む請求項1記載の判定方法。
  3. 前記第1の音声パラメータ及び前記第2の音声パラメータが、
    スペクトル包絡情報、発声スピード及びピッチ周波数情報のうちの少なくとも1つについての統計情報である
    請求項1又は2記載の判定方法。
  4. 前記第1の音声データと前記第2の音声データとが、同一の単語、単語列又は文章についての音声データである
    請求項1乃至3のいずれか1つ記載の判定方法。
  5. 請求項1乃至4のいずれか1つ記載の判定方法を、コンピュータに実行させるプログラム。
  6. 被験者に対して薬物に関する視覚的な刺激を与える前の第1の音声データと、前記被験者に対して前記刺激を与えた後の第2の音声データとを取得する手段と、
    前記第1の音声データから予め定められた第1の音声パラメータを算出し、前記第2の音声データから予め定められた第2の音声パラメータを算出する手段と、
    前記第1の音声パラメータと前記第2の音声パラメータとの比較結果に基づき、前記被験者について薬物摂取反復の可能性の有無を判定する手段と、
    を有する判定システム。
JP2013197135A 2013-09-24 2013-09-24 推定方法及び推定装置 Active JP6190680B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013197135A JP6190680B2 (ja) 2013-09-24 2013-09-24 推定方法及び推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013197135A JP6190680B2 (ja) 2013-09-24 2013-09-24 推定方法及び推定装置

Publications (2)

Publication Number Publication Date
JP2015062479A JP2015062479A (ja) 2015-04-09
JP6190680B2 true JP6190680B2 (ja) 2017-08-30

Family

ID=52830966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013197135A Active JP6190680B2 (ja) 2013-09-24 2013-09-24 推定方法及び推定装置

Country Status (1)

Country Link
JP (1) JP6190680B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011011413A2 (en) * 2009-07-20 2011-01-27 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
JP2013016038A (ja) * 2011-07-04 2013-01-24 Shinji Hirai 生理的報酬獲得行動抑制画像処理装置、処理方法、処理プログラム及びこれを記憶したコンピュータ読み取り可能な記録媒体並びに生理的報酬獲得行動抑制画像データを記録した記録媒体

Also Published As

Publication number Publication date
JP2015062479A (ja) 2015-04-09

Similar Documents

Publication Publication Date Title
US8200480B2 (en) Deriving geographic distribution of physiological or psychological conditions of human speakers while preserving personal privacy
US11602287B2 (en) Automatically aiding individuals with developing auditory attention abilities
CN112669820B (zh) 基于语音识别的考试作弊识别方法、装置及计算机设备
CN114283828B (zh) 语音降噪模型的训练方法、语音评分方法、装置及介质
US9866954B2 (en) Performance metric based stopping criteria for iterative algorithms
RU2720359C1 (ru) Способ и оборудование распознавания эмоций в речи
CN108962231B (zh) 一种语音分类方法、装置、服务器及存储介质
US20210193173A1 (en) Speech analysis algorithmic system and method for objective evaluation and/or disease detection
US20180330588A1 (en) Device and method for walker identification
CN109791616A (zh) 自动语音识别
KR20200025532A (ko) 음성 데이터 기반의 감정 인식 시스템 및 그 응용 방법
CN119631131A (zh) 用于使用基于语音和噪声建模的语音去噪网络生成干净语音信号的方法、装置和计算机可读介质
CN115691544A (zh) 虚拟形象口型驱动模型的训练及其驱动方法、装置和设备
CN112331187A (zh) 多任务语音识别模型训练方法、多任务语音识别方法
KR20220061467A (ko) 전자 장치 및 이의 오디오 신호 처리 방법
WO2021132289A1 (ja) 病態解析システム、病態解析装置、病態解析方法、及び病態解析プログラム
JP6190680B2 (ja) 推定方法及び推定装置
Cosyns et al. Measuring articulation rate: A comparison of two methods
US20150064669A1 (en) System and method for treatment of emotional and behavioral disorders
CN113936297A (zh) 眩晕识别模型的训练方法、装置、电子设备及存储介质
CN115631768B (zh) 音质评估模型确定方法、音质评估方法、设备及介质
CN109119089B (zh) 对音乐进行通透处理的方法及设备
CN113299270A (zh) 语音合成系统的生成方法、装置、设备及存储介质
EP4379717A1 (en) A method for assessing hormone level impact of speech
CN115116426B (zh) 语音生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160822

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20160822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160822

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170807

R150 Certificate of patent or registration of utility model

Ref document number: 6190680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250