[go: up one dir, main page]

JP6031761B2 - 音声解析装置および音声解析システム - Google Patents

音声解析装置および音声解析システム Download PDF

Info

Publication number
JP6031761B2
JP6031761B2 JP2011288616A JP2011288616A JP6031761B2 JP 6031761 B2 JP6031761 B2 JP 6031761B2 JP 2011288616 A JP2011288616 A JP 2011288616A JP 2011288616 A JP2011288616 A JP 2011288616A JP 6031761 B2 JP6031761 B2 JP 6031761B2
Authority
JP
Japan
Prior art keywords
sound
voice
user
microphone
sound pressure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011288616A
Other languages
English (en)
Other versions
JP2013138353A (ja
Inventor
洋平 西野
洋平 西野
原田 陽雄
陽雄 原田
啓 下谷
啓 下谷
米山 博人
博人 米山
靖 飯田
靖 飯田
藤居 徹
徹 藤居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2011288616A priority Critical patent/JP6031761B2/ja
Priority to US13/465,230 priority patent/US9129611B2/en
Publication of JP2013138353A publication Critical patent/JP2013138353A/ja
Priority to US14/812,612 priority patent/US20150332674A1/en
Application granted granted Critical
Publication of JP6031761B2 publication Critical patent/JP6031761B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音声解析装置および音声解析システムに関する。
特許文献1には、円の中心に配置した1個のマイクロホン素子と、円の円周上へ等間隔により配置した少なくとも3個のマイクロホン素子と、円の中心のマイクロホン素子出力に対し1の相対的利得を与える回路と、円周上のマイクロホン素子数をnとしたとき各マイクロホン素子出力に対し1/nの相対的利得を与えかつ相対的位相反転を与える回路と、これら各回路の各出力を加算する加算器とを備えた電気音響変換装置が開示されている。
特開昭61−72500号公報
本発明の目的は、取得した音声の非言語情報に基づいて発話者が装着者か否かを識別することにある。
請求項1に記載の発明は、使用者の口からの音波伝搬経路の距離が第1の距離となる箇所に設置され、当該使用者の音声を取得する第1の音声取得手段と、使用者の口からの音波伝搬経路の距離が前記第1の距離よりも小さくなる箇所に設置されるとともに複数設けられ、当該使用者の音声を取得する第2の音声取得手段と、前記第1の音声取得手段により取得された音声の音声信号の第1の音圧と、複数設けられた前記第2の音声取得手段の各々にて取得された音声の音声信号のうちの音圧が最も大きい音声信号の音圧である第2の音圧と、の比較結果に基づき、当該第1の音声取得手段および当該第2の音声取得手段にて取得された音声が前記使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、を備える音声解析装置である。
請求項に記載の発明は、複数設けられた前記第2の音声取得手段の各々は、前記使用者の肩幅方向において互いに異なる箇所に設置されることを特徴とする請求項1に記載の音声解析装置である。
請求項に記載の発明は、装置本体と、前記装置本体に接続され、当該装置本体が使用者の首から提げられる際に用いられる提げ紐と、前記提げ紐または前記装置本体に設けられるとともに、当該装置本体が使用者の首から提げられたときの距離であって使用者の口からの音波伝搬経路の距離が第1の距離となる箇所に設けられ、使用者の音声を取得する第1の音声取得手段と、前記提げ紐に設けられ、前記装置本体が使用者の首から提げられたときの距離であって使用者の口からの音波伝搬経路の距離が前記第1の距離よりも小さくなる箇所に設けられ、且つ、当該装置本体が使用者の首から提げられたときの位置であって当該使用者の肩幅方向における位置が互いに異なるように設けられた複数の第2の音声取得手段と、前記装置本体に設けられ、前記第1の音声取得手段により取得された音声の音声信号の第1の音圧と、複数設けられた前記第2の音声取得手段の各々にて取得された音声の音声信号の音圧のうちの音圧が最も大きい音声信号の音圧である第2の音圧と、の比較結果に基づき、当該第1の音声取得手段および当該第2の音声取得手段にて取得された音声が前記使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、前記装置本体に設けられ、前記識別部による識別結果を含む前記音声信号に関する情報を外部装置へ送信する送信部と、を備える音声解析装置である。
請求項に記載の発明は、前記提げ紐は、使用者の首を通すことが可能なように環状の部位を備え、当該提げ紐の当該環状の部位には、当該使用者の首の背後から使用者の右肩側を経由し吊り下げられた前記装置本体に向かう第1の部位と、当該首の背後から使用者の左肩側を経由し吊り下げられた当該装置本体に向かう第2の部位とが設けられ、複数設けられた前記第2の音声取得手段のうちの一の音声取得手段が、前記提げ紐の前記第1の部位および前記第2の部位のうちの一方の部位に設けられ、複数設けられた当該第2の音声取得手段のうちの他の音声取得手段が、当該第1の部位および当該第2の部位のうちの他方の部位に設けられていることを特徴とする請求項記載の音声解析装置である。
請求項に記載の発明は、前記提げ紐は、筒状の構造を有し、前記提げ紐に設けられた前記第2の音声取得手段の各々は、当該提げ紐の内部に設けられていることを特徴とする請求項3又は4に記載の音声解析装置である。
請求項に記載の発明は、使用者に装着される端末装置と、前記端末装置から情報を取得するホスト装置と、を備え、前記端末装置は、使用者の口からの音波伝搬経路の距離が第1の距離となる箇所に設置され、当該使用者の音声を取得する第1の音声取得手段と、使用者の口からの音波伝搬経路の距離が前記第1の距離よりも小さくなる箇所に設置されるとともに複数設けられ、当該使用者の音声を取得する第2の音声取得手段と、前記第1の音声取得手段により取得された音声の音声信号の第1の音圧と、複数設けられた前記第2の音声取得手段の各々にて取得された音声の音声信号の音圧のうちの音圧が最も大きい音声信号の音圧である第2の音圧と、の比較結果に基づき、当該第1の音声取得手段および当該第2の音声取得手段にて取得された音声が前記使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、前記識別部による識別結果を含む音声信号に関する情報である発話情報を前記ホスト装置へ送信する送信部と、を備え、前記ホスト装置は、複数の前記端末装置から送信された前記発話情報を受信する受信部と、前記受信部にて受信された前記発話情報を、当該発話情報を送信した前記端末装置ごとに蓄積する蓄積部と、前記蓄積部に蓄積された前記発話情報を解析する解析部と、前記解析部による解析結果を出力する出力部と、を備えることを特徴とする、音声解析システムである。
請求項に記載の発明は、前記ホスト装置の前記解析部は、前記解析の一つとして、複数の前記端末装置の各々から取得された前記発話情報を比較し、当該発話情報の各々に含まれる発話に関する時間情報に基づいて、特定の会話に参加している使用者の発話情報を識別することを特徴とする請求項記載の音声解析システムである。
請求項1の発明によれば、取得した音声の非言語情報に基づいて発話者が装着者か否かを識別することができる。
請求項の発明によれば、本発明を用いない場合に比べて、使用者の首振りに伴い起こりうる発話者の識別精度の低下を抑制することができる。
請求項の発明によれば、本発明を用いない場合に比べて、取得した音声の非言語情報に基づいて発話者を識別する際の識別精度を高めることができる。
請求項の発明によれば、本発明を用いない場合に比べて、使用者の首振りに伴い起こりうる発話者の識別精度の低下を抑制することができる。
請求項の発明によれば、提げ紐の外部に音声取得手段がある場合に比べ、使用者が音声取得手段の存在を意識しないようになる。
請求項の発明によれば、取得した音声の非言語情報に基づいて発話者が装着者か否かを識別することができる。
請求項の発明によれば、複数の発話者における発話情報のうち、特定の発話者による会話に係る発話情報を抽出することができる。
本実施形態による音声解析システムの構成例を示す図である。 端末装置の構成例を示す図である。 装着者および他者の口(発声部位)と、マイクロフォンとの位置の関係を示す図である。 マイクロフォンと音源との間の距離と音圧(入力音量)との関係を示す図である。 装着者自身の発話音声と他者の発話音声の識別方法を示す図である。 端末装置の基本動作を示すフローチャートである。 装着者が向いている方向と収録音声の音圧との関係を示した図である。 第1マイクロフォン、第2マイクロフォン、および、第3マイクロフォンの3つのマイクロフォンを用いた場合の処理の流れを示した図である。 装着者が首振りを行った際の第1マイクロフォン、第3マイクロフォンの音圧を示した図である。 端末装置の他の構成例を示した図である。 装着者が首振りを行った際の第1マイクロフォン、第3マイクロフォンの音圧を示した図である。 端末装置の他の構成例を示した図である。 本実施形態の端末装置をそれぞれ装着した複数の装着者が会話している状況を示す図である。 図13の会話状況における各端末装置の発話情報の例を示す図である。 本適用例におけるホスト装置の機能構成例を示す図である。
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
<システム構成例>
図1は、本実施形態による音声解析システムの構成例を示す図である。
図1に示すように、本実施形態のシステムは、端末装置10とホスト装置20とを備えて構成される。端末装置10とホスト装置20とは、無線通信回線を介して接続されている。無線通信回線としては、Wi−Fi(登録商標)(Wireless Fidelity)、Bluetooth(登録商標)、ZigBee(登録商標)、UWB(Ultra Wideband)等の既存の方式による回線を用いて良い。また、図示の例では、端末装置10が1台のみ記載されているが、詳しくは後述するように、端末装置10は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置10が用意される。以下、端末装置10を装着した使用者を装着者と呼ぶ。
音声解析装置の一例としての端末装置10は、少なくとも、3つのマイクロフォン(第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113)と、増幅器(第1増幅器131、第2増幅器132、および、第3増幅器133)とを備える。また、端末装置10は、収録音声を解析する音声解析部15と、解析結果をホスト装置20に送信するためのデータ送信部16とを備え、さらに電源部17を備える。
第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113は、装着者の口(発声部位)からの音波伝搬経路の距離(以下、単に「距離」と記す)が異なる位置に配置される。
ここで、第1の音声取得手段の一例としての第1マイクロフォン111は、装着者の口(発声部位)から遠い位置(例えば、35cm程度)に配置されている。また、第2の音声取得手段の一例としての第2マイクロフォン112および第3マイクロフォン113は、装着者の口(発声部位)に近い位置(例えば、10cm程度)に配置されている。また、第2マイクロフォン112と第3マイクロフォン113は、装着者の口と第2マイクロフォン112との距離と、装着者の口と第3マイクロフォン113との距離とが同等となるように配置されている。
本実施形態の第1マイクロフォン111〜第3マイクロフォン113として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。特に無指向性のMEMS(Micro Electro Mechanical Systems)型マイクロフォンを用いることが好ましい。
第1増幅器131、第2増幅器132、および、第3増幅器133は、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113が取得音声に応じて出力する電気信号(音声信号)を増幅する。本実施形態の第1増幅器131、第2増幅器132、および、第3増幅器133として用いられる増幅器としては、既存のオペアンプ等を用いて良い。
音声解析部15は、第1増幅器131、第2増幅器132、および、第3増幅器133から出力された音声信号を解析する。そして、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113で取得した音声が、端末装置10を装着した装着者自身が発話した音声か、他者の発話による音声かを識別する。すなわち、音声解析部15は、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113で取得した音声に基づき、音声の発話者を識別する識別部として機能する。発話者識別のための具体的な処理の内容については後述する。
データ送信部16は、音声解析部15による解析結果を含む取得データと端末装置10のIDを、上記の無線通信回線を介してホスト装置20へ送信する。ホスト装置20へ送信する情報としては、ホスト装置20において行われる処理の内容に応じて、上記の解析結果の他、例えば、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113による音声の取得時刻、取得音声の音圧等の情報を含めて良い。なお、端末装置10に音声解析部15による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。また、有線回線で送信しても良い。
電源部17は、上記の第1マイクロフォン111、第2マイクロフォン112、第3マイクロフォン113、第1増幅器131、第2増幅器132、第3増幅器133、音声解析部15、および、データ送信部16に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部17は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。
ホスト装置20は、端末装置10から送信されたデータを受信するデータ受信部21と、受信したデータを蓄積するデータ蓄積部22と、蓄積したデータを解析するデータ解析部23と、解析結果を出力する出力部24とを備える。このホスト装置20は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置10が使用され、ホスト装置20は、その複数台の端末装置10の各々からデータを受信する。
データ受信部21は、上記の無線通信回線に対応しており、各端末装置10からデータを受信してデータ蓄積部22へ送る。データ蓄積部22は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部21から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置10から送信される端末IDと、予めホスト装置20に登録されている発話者名と端末IDの照合により行う。また、端末装置10から端末IDの代わりに、装着者名を送信するようにしておいても良い。
データ解析部23は、例えばパーソナルコンピュータのプログラム制御されたCPUにより実現され、データ蓄積部22に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置10の装着者どうしの対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。
出力部24は、データ解析部23による解析結果を出力したり、解析結果に基づく出力を行ったりする。出力手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。
<端末装置の構成例>
図2は、端末装置10の構成例を示す図である。
上記のように、端末装置10は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置10は、図2に示すように、装置本体30と、装置本体30に接続された提げ紐40とを備えた構成とする。図示の構成において、使用者は、提げ紐40に首を通し、装置本体30を首から提げて装着する。
装置本体30は、金属や樹脂等で形成された薄い直方体のケース31に、少なくとも第1増幅器131、第2増幅器132、第3増幅器133、音声解析部15、データ送信部16および電源部17を実現する回路と電源部17の電源(電池)とを収納して構成される。ケース31には、装着者の氏名や所属等のID情報を表示したIDカード等を挿入するポケットを設けても良い。また、ケース31自体の表面にそのようなID情報等を印刷したり、ID情報等を記載したシールを貼り付けたりしても良い。
提げ紐40には、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113が設けられる(以下、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113の各々を区別しない場合には、マイクロフォン111、112や、マイクロフォン111、112、113と記載)。マイクロフォン111、112、113は、提げ紐40の内部を通るケーブル(電線等)により、装置本体30に収納された第1増幅器131、第2増幅器132、第3増幅器133に接続される。提げ紐40の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。
この提げ紐40は、筒状の構造を有し、提げ紐40の内部にマイクロフォン111、112、113を収納している。マイクロフォン111、112、113を提げ紐40の内部に設けることにより、マイクロフォン111、112、113の損傷や汚れを防ぎ、対話者がマイクロフォン111、112、113の存在を意識することが抑制される。なお、装着者の口(発声部位)から遠い位置に配置される第1マイクロフォン111は、ケース31に内蔵して装置本体30に設けても良い。本実施形態では、第1マイクロフォン111が提げ紐40に設けられる場合を例として説明する。
図2を参照すると、第1マイクロフォン111は、提げ紐40の装置本体30に接続される端部(例えば、接続部位から10cm以内の位置)に設けられている。これにより、装着者が提げ紐40を首に掛けて装置本体30を下げた状態で、第1マイクロフォン111は、装着者の口(発声部位)から約30cmから40cm程度離れた位置に配置される。なお、第1マイクロフォン111が装置本体30に設けられた場合も、装着者の口(発声部位)から第1マイクロフォン111までの距離は同程度である。
第2マイクロフォン112は、提げ紐40の装置本体30に接続される端部から離れた位置(例えば、接続部位から20cm〜30cm程度の位置)に設けられている。これにより、装着者が提げ紐40を首に掛けて装置本体30を下げた状態で、第2マイクロフォン112は、装着者の首元(例えば鎖骨に当たる位置)に位置し、装着者の口(発声部位)から約10cmから20cm程度離れた位置に配置される。
また、第3マイクロフォン113も、提げ紐40の装置本体30に接続される端部から離れた位置(例えば、接続部位から20cm〜30cm程度の位置)に設けられている。これにより、第2マイクロフォン112と同様、装着者が提げ紐40を首に掛けて装置本体30を下げた状態で、第3マイクロフォン113は、装着者の首元(例えば鎖骨に当たる位置)に位置し、装着者の口(発声部位)から約10cmから20cm程度離れた位置に配置される。
なお、本実施形態では、第2マイクロフォン112および第3マイクロフォン113は、装着者の肩幅方向における位置が互いに異なるように設けられており、第2マイクロフォン112は装着者の右肩側に配置され、第3マイクロフォン113は装着者の左肩側に配置されている。
さらに具体的に説明すると、本実施形態では、環状に形成された提げ紐40が装着者の首に掛けられるとともにこの提げ紐40が装置本体30により下方に引っ張られる結果、提げ紐40には、装置本体30との接続部を始点とし装着者の右肩側を経由して装着者の首の背後に向かう第1の部位41と、装置本体30との接続部を始点とし装着者の左肩側を経由して装着者の首の背後に向かう第2の部位42とが設けられた構成となっている。そして本実施形態では、この第1の部位41に対して第2マイクロフォン112が取り付けられ、第2の部位42に対して第3マイクロフォン113が取り付けられている。
ここで、マイクロフォン111、112、113は、上記のように提げ紐40に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。
また、装置本体30は、図2に示したように、提げ紐40に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。
また、携帯電話その他の既存の携帯型電子情報端末にて、マイクロフォン111、112、113からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。ただし、第1マイクロフォン111が装置本体30に設けられる場合は、第1マイクロフォン111と第2マイクロフォン112との位置関係、および、第1マイクロフォン111と第3マイクロフォン113との位置関係を上記のように保持する必要があるため、携帯時の装置本体30の位置は特定される。
さらにまた、マイクロフォン111、112、113と装置本体30(あるいは音声解析部15)を有線で接続するのではなく、無線通信により接続しても良い。また、第1増幅器131、第2増幅器132、第3増幅器133、音声解析部15、データ送信部16および電源部17は、上記の構成例では単一のケース31に収納されることとしたが、複数の個体に分けて構成しても良い。例えば、電源部17をケース31に収納せず、外部電源に接続して使用する構成としても良い。
<収録音声の非言語情報に基づく発話者(自他)の識別>
次に、本実施形態における発話者の識別方法について説明する。
なお、以下の説明では、第1マイクロフォン111、第2マイクロフォン112の2つのマイクロフォンを用いたときの識別方法をまず説明し、本実施形態の基本的な態様を説明する。その後、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113の3つのマイクロフォンを用いたときの識別方法を説明する。
本実施形態は、収録音声の発話者に関して自他の別を識別する。また、本実施形態では、収録音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧(マイクロフォン111、112への入力音量)等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。
図1および図2を参照して説明したように、本実施形態において、端末装置10の第1マイクロフォン111は装着者の口(発声部位)から遠い位置に配置され、第2マイクロフォン112は装着者の口(発声部位)に近い位置に配置される。すなわち、装着者の口(発声部位)を音源とすると、第1マイクロフォン111と音源との間の距離の方が、第2マイクロフォン112と音源との間の距離よりも大きく異なる。
具体的には、第1マイクロフォン111と音源との間の距離は、第2マイクロフォン112と音源との間の距離の1.5〜4倍程度である。ここで、マイクロフォン111、112における収録音声の音圧は、マイクロフォン111、112と音源との間の距離が大きくなるにしたがって減衰(距離減衰)する。したがって、装着者の発話音声に関して、第1マイクロフォン111における収録音声の音圧と第2マイクロフォン112における収録音声の音圧とは大きく異なる。
一方、装着者以外の者(他者)の口(発声部位)を音源とした場合を考えると、その他者が装着者から離れているため、第1マイクロフォン111と音源との間の距離と、第2マイクロフォン112と音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口(発声部位)を音源とした場合のように、第1マイクロフォン111と音源との間の距離が、第2マイクロフォン112と音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第1マイクロフォン111における収録音声の音圧と第2マイクロフォン112における収録音声の音圧とは、装着者の発話音声の場合のように大きく異なることはない。
図3は、装着者および他者の口(発声部位)と、マイクロフォン111、112との位置の関係を示す図である。
図3に示す関係において、装着者の口(発声部位)である音源aと第1マイクロフォン11との間の距離をLa1、音源aと第2マイクロフォン112との間の距離をLa2とする。また、他者の口(発声部位)である音源bと第1マイクロフォン111との間の距離をLb1、音源bと第2マイクロフォン112との間の距離をLb2とする。この場合、次の関係が成り立つ。
La1>La2(La1≒1.5×La2〜4×La2)
Lb1≒Lb2
図4は、マイクロフォン111、112と音源との間の距離と音圧(入力音量)との関係を示す図である。
上述したように、音圧は、マイクロフォン111、112と音源との間の距離に応じて距離減衰する。図4において、距離La1の場合の音圧Ga1と距離La2の場合の音圧Ga2とを比較すると、音圧Ga2は、音圧Ga1の4倍程度となっている。一方、距離Lb1と距離Lb2とが近似するため、距離Lb1の場合の音圧Gb1と距離Lb2の場合の音圧Gb2とは、ほぼ等しい。
そこで、本実施形態では、この音圧比の差を用いて、収録音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図4に示した例では、距離Lb1、Lb2を60cmとしたが、ここでは音圧Gb1と音圧Gb2とがほぼ等しくなることに意味があり、距離Lb1、Lb2は図示の値に限定されない。
図5は、装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
図4を参照して説明したように、装着者自身の発話音声に関して、第2マイクロフォン112の音圧Ga2は、第1マイクロフォン111の音圧Ga1の数倍(例えば4倍程度)である。また、他者の発話音声に関して、第2マイクロフォン112の音圧Gb2は、第1マイクロフォン111の音圧Gb1とほぼ等しい(1倍程度)。
そこで、本実施形態では、第2マイクロフォン112の音圧と第1マイクロフォン111の音圧との比に閾値を設定する。そして、音圧比が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が閾値よりも小さい音声は他者の発話音声と判断する。図5に示す例では、閾値を2とし、音圧比Ga2/Ga1は閾値2を超えるので装着者自身の発話音声と判断され、音圧比Gb2/Gb1は閾値2よりも小さいので他者の発話音声と判断されている。
ところで、マイクロフォン111、112により収録される音声には、発話音声の他に、環境音等のいわゆる雑音(ノイズ)が含まれる。この雑音の音源とマイクロフォン111、112との間の距離の関係は、他者の発話音声の場合と類似する。すなわち、図4、図5に示した例によれば、雑音の音源cと第1マイクロフォン111との間の距離をLc1とし、雑音の音源cと第2マイクロフォン112との間の距離をLc2とすると、距離Lc1と距離Lc2とは近似する。そして、マイクロフォン111、112の収録音声における音圧比Gc2/Gc1は、閾値2よりも小さくなる。しかし、このような雑音は、バンドパスフィルタやゲインフィルタ等を用いた既存の技術によるフィルタリング処理を行うことにより発話音声から分離され、除去される。
<端末装置の動作例>
図6は、端末装置10の基本動作を示すフローチャートである。
図6に示すように、端末装置10のマイクロフォン111、112が音声を取得すると、各マイクロフォン111、112から取得音声に応じた電気信号(音声信号)が第1増幅器131および第2増幅器132へ送られる(ステップ601)。第1増幅器131および第2増幅器132は、マイクロフォン111、112からの音声信号を取得すると、信号を増幅して音声解析部15へ送る(ステップ602)。
音声解析部15は、第1増幅器131および第2増幅器132で増幅された信号に対してフィルタリング処理を行い、信号から環境音等の雑音(ノイズ)の成分を除去する(ステップ603)。次に、音声解析部15は、雑音成分が除かれた信号に対し、一定の時間単位(例えば、数十分の一秒〜数百分の一秒)毎に、各マイクロフォン111、112の収録音声における平均音圧を求める(ステップ604)。
ステップ604で求めた各マイクロフォン111、112における平均音圧の利得が有る場合(ステップ605でYes)、音声解析部15は、発話音声が有る(発話が行われた)と判断し、次に、第1マイクロフォン111における平均音圧と第2マイクロフォン112における平均音圧との比(音圧比)を求める(ステップ606)。そして、ステップ606で求めた音圧比が閾値よりも大きい場合(ステップ607でYes)、音声解析部15は、発話音声は装着者自身の発話による音声であると判断する(ステップ608)。また、ステップ606で求めた音圧比が閾値よりも小さい場合(ステップ607でNo)、音声解析部15は、発話音声は他者の発話による音声であると判断する(ステップ609)。
一方、ステップ604で求めた各マイクロフォン111、112における平均音圧の利得が無い場合(ステップ605でNo)、音声解析部15は、発話音声が無い(発話が行われていない)と判断する(ステップ610)。なお、ステップ605の判断は、ステップ603のフィルタリング処理で除去しきれなかった雑音が信号に残っている場合を考慮し、平均音圧の利得の値が予め定められた値以上の場合に、利得があると判断しても良い。
この後、音声解析部15は、データ送信部16を介して、ステップ604〜ステップ610の処理で得られた情報(発話の有無、発話者の情報)を解析結果としてホスト装置20へ送信させる(ステップ611)。このとき、発話者毎(装着者自身または他者)の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置20へ送信させても良い。
なお、本実施形態では、第1マイクロフォン111の音圧と第2マイクロフォン112の音圧とを比較することにより、発話音声が装着者自身の発話による音声か他者の発話による音声かを判断した。しかし、本実施形態による発話者の識別は、マイクロフォン111、112により取得された音声信号そのものから抽出される非言語情報に基づいて行うものであれば良く、音圧の比較には限定されない。
例えば、第1マイクロフォン111における音声取得時刻(音声信号の出力時刻)と第2マイクロフォン112における音声取得時刻とを比較しても良い。この場合、装着者自身の発話音声は、装着者の口(発声部位)から第1マイクロフォン111までの距離と、装着者の口(発声部位)から第2マイクロフォン112までの距離との差が大きいため、音声取得時刻にある程度の差(時間差)が生じる。
一方、他者の発話音声は、口(発声部位)から第1マイクロフォン111までの距離と、口(発声部位)から第2マイクロフォン112までの距離との差が小さいため、装着者の発話音声の場合よりも音声取得時刻の時間差が小さい。そこで、音声取得時刻の時間差に対して閾値を設定し、音声取得時刻の時間差が閾値よりも大きい場合には装着者自身の発話と判断し、音声取得時刻の時間差が閾値よりも小さい場合には他者の発話と判断するようにしても良い。
ところで、装着者が発話を行うに際し、装着者の口(発生部位)は一定の位置に留まっておらず、装着者の首振りなどによってその位置が変化するようになる。ここで、装着者の口が第2マイクロフォン112から離れるようにその位置が変化する場合、第2マイクロフォン112の音圧と第1マイクロフォン111の音圧との比である音圧比が上記にて説明した閾値を超えず、装着者の発話音声であるにも関わらず他者の発話音声と認識されてしまうおそれがある。
付言すると、装着者の口が第2マイクロフォン112から離れるようにその位置が変化する場合、装着者の口である音源aと第1マイクロフォン111との間の距離La1(図3参照)と、音源aと第2マイクロフォン112との間の距離La2とが近づき、マイクロフォン111、112における収録音声の音圧に差が生じにくくなる。そして、この場合、第2マイクロフォン112の音圧と第1マイクロフォン111の音圧との比が上記の閾値を超えず、装着者の発話音声であるにも関わらず他者の発話音声と認識されてしまうおそれがある。
図7(装着者が向いている方向と収録音声の音圧との関係を示した図)を参照してさらに具体的に説明すると、同図の鎖線で示すように、第2マイクロフォン112における収録音声の音圧は、装着者の首振りによって変化するようになり、第2マイクロフォン112が設置されている装着者の右肩側を装着者が向くと、第2マイクロフォン112における音圧が大きくなり、第2マイクロフォン112が設置されている側とは反対側である装着者の左肩側を装着者が向くと、第2マイクロフォン112における音圧が小さくなる。
そして、第2マイクロフォン112における音圧が小さくなると、同図の符号7Aに示すように、第2マイクロフォン112における音圧と第1マイクロフォン111における音圧との差が小さくなる。そしてこの場合、上記のとおり、第2マイクロフォン112の音圧と第1マイクロフォン111の音圧との比が予め定められた閾値を超えず、装着者の発話音声であるにも関わらず他者の発話音声と認識されてしまうおそれがある。このため、本実施形態では、第3マイクロフォン113も用いることで、装着者の発話音声が他者の発話音声と認識されるのを抑制するようにしている。
図8は、第1マイクロフォン111、第2マイクロフォン112、および、第3マイクロフォン113の3つのマイクロフォンを用いた場合の処理の流れを示した図である。
この処理では、上記にて説明した処理と同様、まず、端末装置10のマイクロフォン111、112、113が音声を取得し、各マイクロフォン111、112、113から取得音声に応じた電気信号(音声信号)が第1増幅器131、第2増幅器132、第3増幅器133へ送られる(ステップ801)。第1増幅器131、第2増幅器132、および、第3増幅器133は、マイクロフォン111、112、113からの音声信号を取得すると、信号を増幅して音声解析部15へ送る(ステップ802)。
音声解析部15は、第1増幅器131、第2増幅器132、および、第3増幅器133で増幅された信号に対してフィルタリング処理を行い、信号から環境音等の雑音(ノイズ)の成分を除去する(ステップ803)。次に、音声解析部15は、雑音成分が除かれた信号に対し、一定の時間単位(例えば、数十分の一秒〜数百分の一秒)毎に、各マイクロフォン111、112、113の収録音声における平均音圧を求める(ステップ804)。
そして、ステップ804で求めた各マイクロフォン111、112、113における平均音圧の利得が有る場合(ステップ805でYes)、音声解析部15は、発話音声が有る(発話が行われた)と判断するとともに、第2マイクロフォン112における平均音圧と、第3マイクロフォン113における平均音圧とを比較し、大きい方の平均音圧を特定する(ステップ806)。
次いで、ステップ806にて特定した大きい方の平均音圧と、第1マイクロフォン111における平均音圧との比(音圧比)を求める(ステップ807)。付言すると、本実施形態では、上記のように二つの平均音圧を比較して音圧比のもととなる一方の平均音圧を求め、求めたこの一方の平均音圧と第1マイクロフォン111における平均音圧とから音圧比を求める。そして、ステップ807で求めた音圧比が閾値よりも大きい場合(ステップ808でYes)、音声解析部15は、発話音声は装着者自身の発話による音声であると判断する(ステップ809)。また、ステップ807で求めた音圧比が閾値よりも小さい場合(ステップ808でNo)、音声解析部15は、発話音声は他者の発話による音声であると判断する(ステップ810)。
一方、ステップ804で求めた各マイクロフォン111、112、113における平均音圧の利得が無い場合(ステップ805でNo)は、上記と同様、音声解析部15は、発話音声が無い(発話が行われていない)と判断する(ステップ811)。なお、上記と同様、ステップ805の判断は、ステップ803のフィルタリング処理で除去しきれなかった雑音が信号に残っている場合を考慮し、平均音圧の利得の値が一定値以上の場合に、利得があると判断しても良い。その後、音声解析部15は、データ送信部16を介し、ステップ804〜ステップ811の処理で得られた情報(発話の有無、発話者の情報)を解析結果としてホスト装置20へ送信させる(ステップ812)。
図9は、装着者が首振りを行った際の第1マイクロフォン111、第3マイクロフォン113の音圧を示した図である。
上記にて説明したとおり、本実施形態では、装着者が、第2マイクロフォン112が設置されている側とは反対側である装着者の左肩側を向くと、第2マイクロフォン112における音圧が小さくなる。その一方で、第3マイクロフォン113については装着者の左肩側に設けられており、図9の一点鎖線で示すように、装着者が左肩側を向くと、第3マイクロフォン113における音圧が大きくなる。
そしてこの場合、第3マイクロフォン113における音圧と第1マイクロフォン111における音圧との差の方が、第2マイクロフォン112における音圧と第1マイクロフォン111における音圧との差よりも大きくなる。そして本実施形態では、この場合、上記ステップ807にて説明したとおり、大きい方の音圧である第3マイクロフォン113における音圧と、第1マイクロフォン111における音圧とに基づき音圧比が算出される。この結果、本実施形態では、音圧比が上記閾値を超える可能性が高まり、装着者の発話音声が他者の発話音声と認識されることが抑制されるようになる。
なお、第3マイクロフォン113の位置は上記にて説明した位置に限られない。例えば、図10(端末装置10の他の構成例を示した図)に示すように、提げ紐40のうち装着者の首の後ろ側に位置する部分に第3マイクロフォン113を設けてもよい。
この場合も、図11(装着者が首振りを行った際の第1マイクロフォン111、第3マイクロフォン113の音圧を示した図)の二点鎖線で示すように、装着者が左肩側を向いた際、第3マイクロフォン113における音圧が大きくなる。そしてこの場合も、第3マイクロフォン113における音圧と第1マイクロフォン111における音圧との差の方が、第2マイクロフォン112における音圧と第1マイクロフォン111における音圧との差よりも大きくなる。そしてこの場合、上記ステップ807にて、第3マイクロフォン113における音圧と第1マイクロフォン111における音圧とに基づき音圧比が算出される。
この結果、この場合も、音圧比が上記閾値を超える可能性が高まり、装着者の発話音声が他者の発話音声と認識されることが抑制されるようになる。なお、図10に示す構成例において、装着者の首振りが行われず装着者が正面を向いている場合は、第3マイクロフォン113における音圧よりも第2マイクロフォン112における音圧の方が大きくなる。そして、この場合は、第2マイクロフォン112における音圧と第1マイクロフォン111における音圧とから音圧比が算出される。
なお、上記では、装着者の口の近くのマイクロフォンを2つとしたが、設けられるマイクロフォンは2つに限られず、3つ以上としてもよい。なお、この場合、例えば3つ以上設けられたマイクロフォンにおける音圧のうちの最も大きい音圧と、第1マイクロフォン111における音圧とに基づき音圧比を算出する。
なお、装着者の口の近くのマイクロフォンを3つ以上とする場合は、例えば、図12(端末装置10の他の構成例を示した図)に示すように、第1の部位41に設けられた第2マイクロフォン112と、第2の部位42に設けられた第3マイクロフォン113との間に、第4マイクロフォン114を設けた構成が考えられる。なお、図12に示す構成例では、第1の部位41から第2の部位42にかけて設けられるとともに第1の部位41と第2の部位42とに接続された接続紐45が設けられており、第4マイクロフォン114はこの接続紐45に設けられている。なお、接続紐45は、ゴムにより形成され伸縮性を有しており、接続紐45と提げ紐40とにより形成される環状の部位の内側を装着者の頭が通される際には、接続紐45が伸長するようになっている。
また、上記では、装着者の中心線(装着者の肩幅方向における中央部を通る中心線であって頭から足元に向かう中心線)を対称軸として、第2マイクロフォン112と第3マイクロフォン113とが線対象となる関係で配置された場合を説明したが、第2マイクロフォン112および第3マイクロフォン113の配置態様はこのような配置態様に限られず、第2マイクロフォン112および第3マイクロフォン113は、装着者の中心線を対称軸として非対象に配置してもよい。
また、上記では、装着者の口と第2マイクロフォン112との距離と、装着者の口と第3マイクロフォン113との距離とが同等となるように、第2マイクロフォン112および第3マイクロフォン113が配置された場合を説明したが、第1マイクロフォン111よりも装着者の口に近い側に第2マイクロフォン112および第3マイクロフォン113が位置するのであれば、装着者の口と第2マイクロフォン112との距離と、装着者の口と第3マイクロフォン113との距離とが異なっていてもよい。
また、上記では、第2マイクロフォン112における音圧および第3マイクロフォン113における音圧のうちの大きい方の音圧と、第1マイクロフォン111における音圧とに基づき発話者を識別する場合を説明したが、第2マイクロフォン112における音声取得時刻(音声信号の出力時刻)および第3マイクロフォン113における音声取得時刻のうちの時刻が早い方の音声取得時刻と、第1マイクロフォン111における音声取得時刻とに基づき発話者を識別するようにしてもよい。
また、上記では、装着者の口元に近い位置に配置された複数のマイクロフォンにおける音圧のうちの音圧が最も大きい音圧と、第1マイクロフォン111における音圧との音圧比に基づき、発話者を識別する場合を説明したが、装着者の口元に近い位置に配置された複数のマイクロフォンの個々のマイクロフォンにおける音圧から平均音圧を求め、この平均音圧と第1マイクロフォン111における音圧との音圧比に基づき、発話者を識別するようにしてもよい。
<システムの適用例とホスト装置の機能>
本実施形態のシステムでは、複数の端末装置10により上記のようにして得られた発話に関する情報(以下、発話情報)がホスト装置20に集められる。ホスト装置20は、複数の端末装置10から得られた情報を用いて、システムの利用目的や利用態様等に応じて種々の解析を行う。以下、複数の装着者のコミュニケーションに関する情報を取得するシステムとして本実施形態を用いる例を説明する。
図13は、本実施形態の端末装置10をそれぞれ装着した複数の装着者が会話している状況を示す図である。図14は、図13の会話状況における各端末装置10A、10Bの発話情報の例を示す図である。
図13に示すように、端末装置10をそれぞれ装着した二人の装着者A、装着者Bが会話している場合を考える。このとき、装着者Aの端末装置10Aにおいて装着者の発話として認識される音声は、装着者Bの端末装置10Bでは他者の発話として認識される。反対に、端末装置10Bにおいて装着者の発話として認識される音声は、端末装置10Aでは他者の発話として認識される。
端末装置10Aおよび端末装置10Bからは、それぞれ独立に、発話情報がホスト装置20に送られる。このとき、端末装置10Aから取得した発話情報と、端末装置10Bから取得した発話情報とは、図14に示すように、発話者(装着者と他者)の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。
そこで、本適用例のホスト装置20は、端末装置10Aから取得した情報と端末装置10Bから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Aと装着者Bとが会話していることを認識する。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻(タイミング)等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。
図15は、本適用例におけるホスト装置20の機能構成例を示す図である。
本適用例において、ホスト装置20は、端末装置10から取得した発話情報のうち、会話を行っている装着者の端末装置10からの発話情報(以下、会話情報)を検出する会話情報検出部201と、検出された会話情報を解析する会話情報解析部202とを備える。この会話情報検出部201および会話情報解析部202は、データ解析部23の機能として実現される。
ホスト装置20には、端末装置10A、端末装置10B以外の端末装置10からも発話情報が送られる。データ受信部21により受信された各端末装置10からの発話情報は、データ蓄積部22に蓄積される。そして、データ解析部23の会話情報検出部201が、データ蓄積部22に蓄積された各端末装置10の発話情報を読み出し、特定の会話に係る発話情報である会話情報を検出する。
上記の図14に示したように、端末装置10Aの発話情報と端末装置10Bの発話情報は、他の端末装置10の発話情報とは異なる特徴的な対応関係が抽出される。会話情報検出部201は、データ蓄積部22に蓄積されている各端末装置10から取得した発話情報を比較し、複数の端末装置10から取得した発話情報の中から、上記のような対応関係を有する発話情報を検出し、同一の会話に係る会話情報として識別する。ホスト装置20には、複数の端末装置10から発話情報が随時送られているので、会話情報検出部201は、例えば、一定時間分の発話情報を順次区切りながら上記の処理を行い、特定の会話に係る会話情報が含まれているか否かを判断する。
なお、会話情報検出部201が複数の端末装置10の発話情報から特定の会話に係る会話情報を検出するための条件は、上述した図14に示す対応関係に限定されない。複数の発話情報の中から特定の会話に係る会話情報を識別し得る、いかなる手法にて検出しても良い。
また、上記の例では、端末装置10をそれぞれ装着した二人の装着者が会話している例を示したが、会話に参加する人数は二人に限定されない。三人以上の装着者が会話している場合、各装着者が装着している端末装置10において、自装置の装着者の発話音声が装着者自身の発話音声として認識され、他者(二人以上)の発話音声と区別される。しかし、発話時間や発話者が切り替わったタイミング等の発話状況を示す情報は、各端末装置10における取得情報どうしの間で近似する。そこで、会話情報検出部201は、上記の二人の会話の場合と同様に、同一の会話に参加している装着者の端末装置10から取得した発話情報を検出し、会話に参加していない装着者の端末装置10から取得した発話情報と区別する。
次に、会話情報解析部202は、会話情報検出部201により検出された会話情報を解析して、その会話の特徴を抽出する。本実施形態では、具体例として、対話度、傾聴度、会話活性度の3種類の評価基準により会話の特徴を抽出する。ここで、対話度とは、会話参加者の発言頻度のバランスを表すものとする。傾聴度とは、個々の会話参加者における他者の発言を聴く度合い表すものとする。会話活性度とは、会話全体における発言の密度を表すものとする。
対話度は、会話が行われている間における発話者の交代回数と、発話者が交代するまでの時間(一人の発話者が連続して発話している時間)のばらつきによって特定される。これは、一定時間の会話情報において、話者が切り替わった回数および切り替わったときの時刻から得られる。そして、発話者の交代回数が多く、各発話者の連続発話時間のばらつきが小さいほど、対話度の値(レベル)が大きいものとする。この評価基準は、同一の会話に係る全ての会話情報(各端末装置10の発話情報)において共通する。
傾聴度は、会話情報における会話参加者ごとの自身の発話時間と他者の発話時間との比率によって特定される。例えば、下式の場合、値が大きいほど傾聴度の値(レベル)が大きいものとする。
傾聴度=(他者の発話時間)÷(装着者自身の発話時間)
この評価基準は、同一の会話に係る会話情報であっても、各会話参加者の端末装置10から取得した発話情報ごとに異なるものとなる。
会話活性度は、いわゆる会話の盛り上がりを表す指標であり、会話情報全体に対する無言時間(会話参加者の誰も発言していない時間)の比率によって特定される。無言時間の総和が短いほど、会話において会話参加者のいずれかが発言していることを意味し、会話活性度の値(レベル)が大きいものとする。この評価基準は、同一の会話に係る全ての会話情報(各端末装置10の発話情報)において共通する。
以上のようにして、会話情報解析部202による会話情報の解析により、その会話情報に係る会話の特徴が抽出される。また、上記の解析により、その会話における各参加者の参加の仕方が特定される。なお、上記の評価基準は、会話の特徴を表す情報の一例に過ぎず、他の評価項目を採用したり、項目毎に重み付けを加えたりすることにより、本実施形態のシステムの利用目的や利用態様に応じた評価基準を設定して良い。
上記のような解析を、データ蓄積部22に蓄積された発話情報の中から会話情報検出部201により検出された種々の会話情報に対して行うことにより、端末装置10の装着者のグループ全体におけるコミュニケーションの傾向を分析することができる。具体的には、例えば、会話参加者の数、会話が行われた時間、対話度、活性度などの値と会話の発生頻度との相関関係を調べることで、装着者のグループにおいてどのような態様の会話が行われる傾向があるかが判断される。
また、特定の装着者の複数の会話情報に対して上記のような解析を行うことにより、装着者個人のコミュニケーションの傾向を分析することができる。特定の装着者による会話への参加の仕方は、会話の相手や会話参加者の数といった条件に応じて、一定の傾向を持つ場合がある。そこで、特定の装着者における複数の会話情報を調べることにより、例えば、特定の相手との会話では対話レベルが大きい、会話参加者の数が多くなると傾聴度が大きくなる等のような特徴が検出されることが期待される。
なお、上記の発話情報の識別処理および会話情報解析処理は、本実施形態によるシステムの適用例を示すに過ぎず、本実施形態によるシステムの利用目的や利用態様、ホスト装置20の機能等を限定するものではない。本実施形態の端末装置10により取得した発話情報に対して種々の解析や調査を実行するための処理機能が、ホスト装置20の機能として実現され得る。
10…端末装置、15…音声解析部、16…データ送信部、20…ホスト装置、21…データ受信部、22…データ蓄積部、23…データ解析部、24…出力部、30…装置本体、40…提げ紐、41…第1の部位、42…第2の部位、111…第1マイクロフォン、112…第2マイクロフォン、113…第3マイクロフォン

Claims (7)

  1. 使用者の口からの音波伝搬経路の距離が第1の距離となる箇所に設置され、当該使用者の音声を取得する第1の音声取得手段と、
    使用者の口からの音波伝搬経路の距離が前記第1の距離よりも小さくなる箇所に設置されるとともに複数設けられ、当該使用者の音声を取得する第2の音声取得手段と、
    前記第1の音声取得手段により取得された音声の音声信号の第1の音圧と、複数設けられた前記第2の音声取得手段の各々にて取得された音声の音声信号のうちの音圧が最も大きい音声信号の音圧である第2の音圧と、の比較結果に基づき、当該第1の音声取得手段および当該第2の音声取得手段にて取得された音声が前記使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、
    を備える音声解析装置。
  2. 複数設けられた前記第2の音声取得手段の各々は、前記使用者の肩幅方向において互いに異なる箇所に設置されることを特徴とする請求項1に記載の音声解析装置。
  3. 装置本体と、
    前記装置本体に接続され、当該装置本体が使用者の首から提げられる際に用いられる提げ紐と、
    前記提げ紐または前記装置本体に設けられるとともに、当該装置本体が使用者の首から提げられたときの距離であって使用者の口からの音波伝搬経路の距離が第1の距離となる箇所に設けられ、使用者の音声を取得する第1の音声取得手段と、
    前記提げ紐に設けられ、前記装置本体が使用者の首から提げられたときの距離であって使用者の口からの音波伝搬経路の距離が前記第1の距離よりも小さくなる箇所に設けられ、且つ、当該装置本体が使用者の首から提げられたときの位置であって当該使用者の肩幅方向における位置が互いに異なるように設けられた複数の第2の音声取得手段と、
    前記装置本体に設けられ、前記第1の音声取得手段により取得された音声の音声信号の第1の音圧と、複数設けられた前記第2の音声取得手段の各々にて取得された音声の音声信号の音圧のうちの音圧が最も大きい音声信号の音圧である第2の音圧と、の比較結果に基づき、当該第1の音声取得手段および当該第2の音声取得手段にて取得された音声が前記使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、
    前記装置本体に設けられ、前記識別部による識別結果を含む前記音声信号に関する情報を外部装置へ送信する送信部と、
    を備える音声解析装置。
  4. 前記提げ紐は、使用者の首を通すことが可能なように環状の部位を備え、当該提げ紐の当該環状の部位には、当該使用者の首の背後から使用者の右肩側を経由し吊り下げられた前記装置本体に向かう第1の部位と、当該首の背後から使用者の左肩側を経由し吊り下げられた当該装置本体に向かう第2の部位とが設けられ、
    複数設けられた前記第2の音声取得手段のうちの一の音声取得手段が、前記提げ紐の前記第1の部位および前記第2の部位のうちの一方の部位に設けられ、複数設けられた当該第2の音声取得手段のうちの他の音声取得手段が、当該第1の部位および当該第2の部位のうちの他方の部位に設けられていることを特徴とする請求項記載の音声解析装置。
  5. 前記提げ紐は、筒状の構造を有し、
    前記提げ紐に設けられた前記第2の音声取得手段の各々は、当該提げ紐の内部に設けられていることを特徴とする請求項3又は4に記載の音声解析装置。
  6. 使用者に装着される端末装置と、
    前記端末装置から情報を取得するホスト装置と、
    を備え、
    前記端末装置は、
    使用者の口からの音波伝搬経路の距離が第1の距離となる箇所に設置され、当該使用者の音声を取得する第1の音声取得手段と、
    使用者の口からの音波伝搬経路の距離が前記第1の距離よりも小さくなる箇所に設置されるとともに複数設けられ、当該使用者の音声を取得する第2の音声取得手段と、
    前記第1の音声取得手段により取得された音声の音声信号の第1の音圧と、複数設けられた前記第2の音声取得手段の各々にて取得された音声の音声信号の音圧のうちの音圧が最も大きい音声信号の音圧である第2の音圧と、の比較結果に基づき、当該第1の音声取得手段および当該第2の音声取得手段にて取得された音声が前記使用者の発話音声か、当該使用者以外の他者の発話音声かを識別する識別部と、
    前記識別部による識別結果を含む音声信号に関する情報である発話情報を前記ホスト装置へ送信する送信部と、
    を備え、
    前記ホスト装置は、
    複数の前記端末装置から送信された前記発話情報を受信する受信部と、
    前記受信部にて受信された前記発話情報を、当該発話情報を送信した前記端末装置ごとに蓄積する蓄積部と、
    前記蓄積部に蓄積された前記発話情報を解析する解析部と、
    前記解析部による解析結果を出力する出力部と、
    を備えることを特徴とする、音声解析システム。
  7. 前記ホスト装置の前記解析部は、前記解析の一つとして、複数の前記端末装置の各々から取得された前記発話情報を比較し、当該発話情報の各々に含まれる発話に関する時間情報に基づいて、特定の会話に参加している使用者の発話情報を識別することを特徴とする請求項記載の音声解析システム。
JP2011288616A 2011-12-28 2011-12-28 音声解析装置および音声解析システム Active JP6031761B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011288616A JP6031761B2 (ja) 2011-12-28 2011-12-28 音声解析装置および音声解析システム
US13/465,230 US9129611B2 (en) 2011-12-28 2012-05-07 Voice analyzer and voice analysis system
US14/812,612 US20150332674A1 (en) 2011-12-28 2015-07-29 Voice analyzer and voice analysis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011288616A JP6031761B2 (ja) 2011-12-28 2011-12-28 音声解析装置および音声解析システム

Publications (2)

Publication Number Publication Date
JP2013138353A JP2013138353A (ja) 2013-07-11
JP6031761B2 true JP6031761B2 (ja) 2016-11-24

Family

ID=48695613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011288616A Active JP6031761B2 (ja) 2011-12-28 2011-12-28 音声解析装置および音声解析システム

Country Status (2)

Country Link
US (2) US9129611B2 (ja)
JP (1) JP6031761B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
JP2013072978A (ja) * 2011-09-27 2013-04-22 Fuji Xerox Co Ltd 音声解析装置および音声解析システム
JP5867066B2 (ja) 2011-12-26 2016-02-24 富士ゼロックス株式会社 音声解析装置
JP6031761B2 (ja) 2011-12-28 2016-11-24 富士ゼロックス株式会社 音声解析装置および音声解析システム
JP6289936B2 (ja) * 2014-02-26 2018-03-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
EP3413583A1 (en) * 2014-10-20 2018-12-12 Sony Corporation Voice processing system
JP6476938B2 (ja) * 2015-02-04 2019-03-06 富士ゼロックス株式会社 音声解析装置、音声解析システムおよびプログラム
JP6641832B2 (ja) * 2015-09-24 2020-02-05 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
CN107028524A (zh) * 2015-12-08 2017-08-11 太琦科技股份有限公司 语音控制型洗浴系统及其操作方法
US10375473B2 (en) * 2016-09-20 2019-08-06 Vocollect, Inc. Distributed environmental microphones to minimize noise during speech recognition
US10553237B2 (en) * 2017-03-06 2020-02-04 JVC Kenwood Corporation Radio communication device
WO2018178207A1 (en) * 2017-03-31 2018-10-04 Sony Corporation Apparatus and method
JP7010073B2 (ja) * 2018-03-12 2022-01-26 株式会社Jvcケンウッド 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム
JP7330066B2 (ja) * 2019-03-27 2023-08-21 パナソニックホールディングス株式会社 音声認識装置、音声認識方法及びそのプログラム
US11308966B2 (en) * 2019-03-27 2022-04-19 Panasonic Intellectual Property Corporation Of America Speech input device, speech input method, and recording medium
WO2020218634A1 (ko) * 2019-04-23 2020-10-29 엘지전자 주식회사 응답 기기 결정 방법 및 장치

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4581758A (en) * 1983-11-04 1986-04-08 At&T Bell Laboratories Acoustic direction identification system
JPH0763199B2 (ja) 1984-09-18 1995-07-05 日本電信電話株式会社 電気音響変換装置
JPS62141595A (ja) 1985-12-16 1987-06-25 日本電気株式会社 音声検出方式
JPS62141594A (ja) 1985-12-16 1987-06-25 日本電気株式会社 音声検出方式
GB2196460B (en) 1986-10-03 1991-05-15 Ricoh Kk Methods for comparing an input voice pattern with a registered voice pattern and voice recognition systems
JP2882792B2 (ja) 1986-10-03 1999-04-12 株式会社リコー 標準パターン作成方式
JPS63144698A (ja) * 1986-12-08 1988-06-16 Nippon Telegr & Teleph Corp <Ntt> マイクロホン切替収音装置
JPS63165900A (ja) 1986-12-27 1988-07-09 沖電気工業株式会社 会話音声認識方式
US5031881A (en) 1989-12-22 1991-07-16 John Thurmston Staple and tack extractor
US5267323A (en) * 1989-12-29 1993-11-30 Pioneer Electronic Corporation Voice-operated remote control system
US5159843A (en) * 1991-02-19 1992-11-03 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Acoustic device and method for measuring gas densities
JP3008762B2 (ja) 1993-12-27 2000-02-14 日本電気株式会社 音声認識装置
JPH08191496A (ja) 1995-01-09 1996-07-23 Matsushita Electric Ind Co Ltd 接話マイクロホン
US5793875A (en) 1996-04-22 1998-08-11 Cardinal Sound Labs, Inc. Directional hearing system
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US6141644A (en) * 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
US6263836B1 (en) 1998-11-27 2001-07-24 Robert L. Hollis Dog behavior monitoring and training apparatus
JP2000338987A (ja) 1999-05-28 2000-12-08 Mitsubishi Electric Corp 発話開始監視装置、話者同定装置、音声入力システム、および話者同定システム、並びに通信システム
US6549792B1 (en) 1999-06-25 2003-04-15 Agere Systems Inc. Accelerometer influenced communication device
US6513532B2 (en) 2000-01-19 2003-02-04 Healthetech, Inc. Diet and activity-monitoring device
AU2001228223A1 (en) 2000-01-24 2001-07-31 Sanjay Chadha Hand-held personal computing device with microdisplay
US7340062B2 (en) * 2000-03-14 2008-03-04 Revit Lawrence J Sound reproduction method and apparatus for assessing real-world performance of hearing and hearing aids
JP3652961B2 (ja) 2000-06-27 2005-05-25 シャープ株式会社 音声処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
JP2002149191A (ja) 2000-11-09 2002-05-24 Toyota Central Res & Dev Lab Inc 音声入力装置
GB2375698A (en) * 2001-02-07 2002-11-20 Canon Kk Audio signal processing apparatus
US20040064056A1 (en) * 2001-02-07 2004-04-01 Colin Corporation Heart-sound detecting apparatus and heart-sound detecting method
WO2004021031A1 (ja) * 2002-08-30 2004-03-11 Nittobo Acoustic Engineering Co.,Ltd. 音源探査システム
US7312981B2 (en) 2003-04-16 2007-12-25 Carroll David W Mobile, hand-held personal computer
US20070136064A1 (en) 2003-04-16 2007-06-14 Carroll David W Mobile personal computer with movement sensor
TWI235844B (en) * 2003-05-07 2005-07-11 Sunplus Technology Co Ltd Device and method to identify the direction of sound
US7383181B2 (en) * 2003-07-29 2008-06-03 Microsoft Corporation Multi-sensory speech detection system
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US20050085185A1 (en) * 2003-10-06 2005-04-21 Patterson Steven C. Method and apparatus for focusing sound
US20050117754A1 (en) * 2003-12-02 2005-06-02 Atsushi Sakawaki Active noise cancellation helmet, motor vehicle system including the active noise cancellation helmet, and method of canceling noise in helmet
WO2005086801A2 (en) * 2004-03-05 2005-09-22 Etymotic Research, Inc. Companion microphone system and method
JP2006071936A (ja) 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
DE102004049347A1 (de) * 2004-10-08 2006-04-20 Micronas Gmbh Schaltungsanordnung bzw. Verfahren für Sprache enthaltende Audiosignale
JP4873913B2 (ja) * 2004-12-17 2012-02-08 学校法人早稲田大学 音源分離システムおよび音源分離方法、並びに音響信号取得装置
JP2006197088A (ja) * 2005-01-12 2006-07-27 Alps Electric Co Ltd ストラップ状ラジオ受信機
JP2006023773A (ja) 2005-08-29 2006-01-26 Toshiba Corp 音声処理システム
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
CN101390440B (zh) * 2006-02-27 2012-10-10 松下电器产业株式会社 可穿戴终端、控制可穿戴终端的处理器及方法
US7246033B1 (en) 2006-03-13 2007-07-17 Susan Leeds Kudo Pedometer for pets
US7539532B2 (en) 2006-05-12 2009-05-26 Bao Tran Cuffless blood pressure monitoring appliance
JP2008072158A (ja) 2006-09-11 2008-03-27 Wecom Kenkyusho:Kk ネックストラップ型補聴器、ネックストラップ型携帯電話
CN101154382A (zh) * 2006-09-29 2008-04-02 松下电器产业株式会社 检测风噪声的方法及其系统
JP4893257B2 (ja) * 2006-11-17 2012-03-07 ヤマハ株式会社 音像位置制御装置
DK2116102T3 (da) * 2007-02-14 2011-09-12 Phonak Ag Trådløst kommunikationssystem og fremgangsmåde
US8767975B2 (en) * 2007-06-21 2014-07-01 Bose Corporation Sound discrimination method and apparatus
JP2009017083A (ja) * 2007-07-03 2009-01-22 Data Bank Commerce:Kk ノイズキャンセル装置
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
US8031881B2 (en) 2007-09-18 2011-10-04 Starkey Laboratories, Inc. Method and apparatus for microphone matching for wearable directional hearing device using wearer's own voice
DE102007044792B4 (de) 2007-09-19 2012-12-13 Siemens Ag Verfahren, Steuergerät und System zur Steuerung oder Bedienung
EP2202531A4 (en) * 2007-10-01 2012-12-26 Panasonic Corp DETECTOR FOR SOUND SOUND ALIGNMENT
JP4958172B2 (ja) 2007-10-31 2012-06-20 国立大学法人 名古屋工業大学 音源定位装置
US8112281B2 (en) 2007-12-19 2012-02-07 Enbiomedic Accelerometer-based control of wearable audio recorders
JP4530051B2 (ja) 2008-01-17 2010-08-25 船井電機株式会社 音声信号送受信装置
US8411880B2 (en) 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones
US8611554B2 (en) * 2008-04-22 2013-12-17 Bose Corporation Hearing assistance apparatus
JP2009284111A (ja) 2008-05-20 2009-12-03 Funai Electric Advanced Applied Technology Research Institute Inc 集積回路装置及び音声入力装置、並びに、情報処理システム
US8442833B2 (en) * 2009-02-17 2013-05-14 Sony Computer Entertainment Inc. Speech processing with source location estimation using signals from two or more microphones
US8477973B2 (en) 2009-04-01 2013-07-02 Starkey Laboratories, Inc. Hearing assistance system with own voice detection
EP2271134A1 (en) * 2009-07-02 2011-01-05 Nxp B.V. Proximity sensor comprising an acoustic transducer for receiving sound signals in the human audible range and for emitting and receiving ultrasonic signals.
KR20110047852A (ko) 2009-10-30 2011-05-09 삼성전자주식회사 동작 환경에 적응 가능한 음원녹음장치 및 그 방법
TWI415117B (zh) * 2009-12-25 2013-11-11 Univ Nat Chiao Tung 使用在麥克風陣列之消除殘響與減低噪音方法及其裝置
DK2381700T3 (en) 2010-04-20 2015-06-01 Oticon As Removal of the reverberation from a signal with use of omgivelsesinformation
KR101658908B1 (ko) * 2010-05-17 2016-09-30 삼성전자주식회사 휴대용 단말기에서 통화 음질을 개선하기 위한 장치 및 방법
US9053697B2 (en) 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
WO2012091643A1 (en) * 2010-12-29 2012-07-05 Telefonaktiebolaget L M Ericsson (Publ) A noise suppressing method and a noise suppressor for applying the noise suppressing method
US20130024196A1 (en) 2011-07-21 2013-01-24 Nuance Communications, Inc. Systems and methods for using a mobile device to deliver speech with speaker identification
US9689959B2 (en) * 2011-10-17 2017-06-27 Foundation de l'Institut de Recherche Idiap Method, apparatus and computer program product for determining the location of a plurality of speech sources
JP5867066B2 (ja) 2011-12-26 2016-02-24 富士ゼロックス株式会社 音声解析装置
JP6031761B2 (ja) 2011-12-28 2016-11-24 富士ゼロックス株式会社 音声解析装置および音声解析システム
US9170325B2 (en) * 2012-08-30 2015-10-27 Microsoft Technology Licensing, Llc Distance measurements between computing devices

Also Published As

Publication number Publication date
US9129611B2 (en) 2015-09-08
US20130173266A1 (en) 2013-07-04
JP2013138353A (ja) 2013-07-11
US20150332674A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
JP6031761B2 (ja) 音声解析装置および音声解析システム
JP5772447B2 (ja) 音声解析装置
JP5772448B2 (ja) 音声解析システムおよび音声解析装置
JP6003472B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP5867066B2 (ja) 音声解析装置
JP6003510B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP2013135325A (ja) 音声解析装置
US8983843B2 (en) Motion analyzer having voice acquisition unit, voice acquisition apparatus, motion analysis system having voice acquisition unit, and motion analysis method with voice acquisition
JP6476938B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP6160042B2 (ja) 位置特定システム
JP6056544B2 (ja) 音声解析装置、信号解析装置、音声解析システムおよびプログラム
JP6191747B2 (ja) 音声解析装置および音声解析システム
JP6007487B2 (ja) 情報処理装置、情報処理システムおよびプログラム
JP5862318B2 (ja) 音解析装置、音解析システムおよびプログラム
JP2013072978A (ja) 音声解析装置および音声解析システム
JP6031767B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP2013140534A (ja) 音声解析装置、音声解析システムおよびプログラム
JP2013164468A (ja) 音声解析装置、音声解析システムおよびプログラム
JP6051996B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP5929810B2 (ja) 音声解析システム、音声端末装置およびプログラム
JP6369022B2 (ja) 信号解析装置、信号解析システムおよびプログラム
JP2014050048A (ja) 音声解析装置
JP2014048618A (ja) 音声解析装置、音声解析システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161010

R150 Certificate of patent or registration of utility model

Ref document number: 6031761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350