JP3997459B2 - 音声入力システムおよび音声ポータルサーバおよび音声入力端末 - Google Patents
音声入力システムおよび音声ポータルサーバおよび音声入力端末 Download PDFInfo
- Publication number
- JP3997459B2 JP3997459B2 JP2001306787A JP2001306787A JP3997459B2 JP 3997459 B2 JP3997459 B2 JP 3997459B2 JP 2001306787 A JP2001306787 A JP 2001306787A JP 2001306787 A JP2001306787 A JP 2001306787A JP 3997459 B2 JP3997459 B2 JP 3997459B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- text
- voice input
- portal server
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4936—Speech interaction details
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
- H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4938—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Navigation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声入力システム，音声ポータルサーバ，音声入力端末に係り、特に、ＰＤＡ(Personal Digital Assistants)，携帯電話，車載ナビゲーションなどの移動端末装置からまたは家庭電話，ＴＶ，ＰＣなどの家庭(固定)端末から音声でネットワークにアクセスし、地図情報，音楽情報，ＴＶ番組情報，電話情報などを提供する情報提供サービスプロバイダから情報やサービスを受ける音声入力システムに関する。
【０００２】
【従来の技術】
特開平１１−１４３４９３号公報は、入力された音声を音声言語理解装置によりデータベース言語の中間言語に変換して単語を検索するシステムを記載している。
【０００３】
特開２０００−５７４９０号公報は、認識辞書を切り替えながら入力された音声の認識性能を向上させる方法を記載している。
【０００４】
特開２００１−３４２９２号公報は、ワードスポッティングという技術で辞書にある言葉を切り出し、要求キーワードを認識して話題を確定し、その話題用の認識辞書を用いて音声を認識させ、認識性能を向上させる方法を記載している。
【０００５】
【発明が解決しようとする課題】
特開平１１−１４３４９３号公報の技術は、識別誤りが最小になるように文章データをそれに対応する中間言語に変換する隠れマルコフモデルを学習する方法である。この方式では、統計的処理に基づく学習であるから、いろいろな分野に同時にサービスしようとすると、分野ごとに学習する必要があり、処理に多くの時間がかかり、認識性能が下がる。また、長い文章と短い文章とが混在する実際の対話を考慮した音声入力システムにはなっていない。さらに、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００６】
特開２０００−５７４９０号公報の技術は、認識結果に応じて対応辞書を切り替えて認識性能を向上させるナビゲーションの発明であるが、音声を連続入力できない。また、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００７】
特開２００１−３４２９２号公報の技術は、認識結果に応じて話題を切り出し辞書を切り替えて認識性能を上げる発明である。しかし、上記２つの従来技術と同様に、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００８】
本発明の目的は、ＰＤＡ，携帯電話などの移動端末や家庭電話(HomeＴＥＬ)，ＴＶ，ＰＣなどの固定端末から音声でネットにアクセスし、地図情報，音楽情報，番組情報，電話情報などを提供するプロバイダからサービスを受ける音声入力システムおよび音声ポータルサーバおよび音声入力端末を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとに基づいて各種情報を提供するアプリケーションサービスプロバイダにアクセスしてサービスを受けこのサービスを音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバと、音声ポータルサーバから受信したコマンドテキストおよびオブジェクトテキストに基づいて情報を検索する情報検索手段を備え検索結果を音声ポータルサーバにサービスするアプリケーションサービスプロバイダとからなる音声入力システムを提案する。
【００１０】
本発明は、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなり、アプリケーションサービスプロバイダの情報検索手段が、入力されたオブジェクトテキストをｎ文字ごとに切り出し予め作成してあるｎ文字ＩＮＤＥＸに基づいて情報検索する手段である音声入力システムを提案する。
【００１１】
アプリケーションサービスプロバイダは、地図情報をサービスするナビゲーション情報アプリケーションサービスプロバイダ，音楽情報をサービスする音楽情報アプリケーションサービスプロバイダ，ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報をサービスする番組情報アプリケーションサービスプロバイダ，電話情報をサービスする電話情報アプリケーションサービスプロバイダなどとする。
【００１２】
本発明においては、音声入力端末から入力された音声を音声ポータルサーバで認識してコマンドとオブジェクトとのテキストに分離し、分離されたテキストに基づき、アプリケーションサービスプロバイダにある情報をあいまい検索し、オブジェクトテキストに一部認識誤りがあっても、意図する情報を音声入力端末に提供できる。
【００１３】
本発明は、また、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなる音声入力システムにおいて、音声ポータルサーバが、音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとをアプリケーションサービスプロバイダに送りアプリケーションサービスプロバイダで検索された情報を音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバを提案する。
【００１４】
音声認識手段は、連続音声認識手段と、単語音声認識手段と、入力された音声の特徴量をしきい値として２つの認識手段の認識結果の一方を選択して出力する認識総合評価手段とを備える。
【００１５】
音声の特徴量は、発話時間，認識文字列長のいずれを採用してもよい。
【００１６】
音声ポータルサーバの音声認識エンジンを長い文章に適した連続音声認識エンジンとコマンドのような短い文章に適した単語音声認識エンジンの２つで構成し、総合的に評価しているため、音声対話の認識性能が向上する。
【００１７】
本発明は、さらに、音声ポータルサーバおよび各種情報を提供するアプリケーションサービスプロバイダにアクセスしサービスを受ける音声入力端末において、音声入出力手段と、Ｗｅｂブラウザと、外部システムへのアクセス状況および検索結果を表示する表示手段とを備えている。
【００１８】
音声入力端末は、ＰＤＡ，携帯電話，車載ナビゲーションのいずれかに組み込まれている携帯音声入力端末と、家庭電話，ＴＶ，ＰＣのいずれかに組み込まれている家庭音声入力端末とに分類できる。
【００１９】
アプリケーションサービスプロバイダ(ＡＳＰ)として、ナビゲーション情報ＡＳＰ，音楽情報ＡＳＰ，番組情報ＡＳＰ，電話情報ＡＳＰを設けたので、ＰＤＡ，MobileＴＥＬ，MobileCarＰＣなどの移動する音声入力端末や、家庭電話，ＴＶ，ＰＣなどの家庭の音声入力端末にも、それぞれの必要に応じて、最適な情報をサービスできる。
【００２０】
【発明の実施の形態】
次に、図１〜図２８を参照して、本発明による音声入力システム，音声ポータルサーバ，音声入力端末の実施形態を説明する。
【００２１】
図１は、本発明による音声入力システムの実施形態の全体構成を示すブロック図である。
【００２２】
本実施形態では、音声入力端末装置としては、移動端末１０と家庭(固定)端末３０とを使用できる。移動端末１０としては、ＰＤＡ１０ａ，携帯電話１０ｂ，車載端末１０ｃなどがある。家庭(固定)端末３０としては、家庭内での利用を想定した固定電話３０ａ，情報家電としてのテレビシステムＴＶ３０ｂ，パーソナルコンピュータＰＣ３０ｃなどがある。移動端末１０ａ〜１０ｃは、無線基地局２０を介してインターネット網４０に接続され、家庭端末３０ａ〜３０ｃは、インターネット網４０に直接接続されている。
【００２３】
音声対話全体を制御する音声ポータル５０および各種アプリケーションサービスプロバイダ(ＡＳＰ)６０も、インターネット網４０に接続されている。
【００２４】
ＡＳＰとしては、地図情報をサービスするナビゲーション情報ＡＳＰ６０ａ，音楽情報ＡＳＰ６０ｂ，ＴＶ番組情報ＡＳＰ６０ｃ，電話情報ＡＳＰ６０ｄなどがある。
【００２５】
音声入力端末１０ａ〜１０ｃ，３０ａ〜３０ｃのいずれかから、音声ポータルサーバ５０に接続すると、音声のガイダンスやメニュー表示が音声入力端末に出力され、対応する音声を入力すると、音声はインターネット網４０を介して音声ポータルサーバ５０に転送される。
【００２６】
音声ポータルサーバ５０は、音声を認識し、音声の内容をコマンドや検索対象物であるオブジェクトとしてコマンド変換処理し、コマンドの内容に対応したＡＳＰ６０に転送する。
【００２７】
ＡＳＰ６０では、対応するデータベースを検索し、音声ポータルサーバ５０を経由して、音声を入力してきた音声入力端末に検索結果を出力する。
【００２８】
以上に説明したように、音声入力システムは、キーボード(ＫＢ)を利用しにくい環境にある移動端末やキーボード操作に慣れていない家庭での端末に主に利用され、入力を容易にする。
【００２９】
本実施形態においては、音声入力システムの全体構成として、サーバ群をインターネットに接続してある。
【００３０】
サーバ群をイントラネットやホームネットに接続しても、これらのネットワーク内では、効果は変わらない。各種ＡＳＰ群を近くに置き、これらのＡＳＰ群では意図するデータをサービスできないときのみインターネットのサーバ群に接続するいわゆるキャッシュサーバとして設置してもよい。
【００３１】
なお、ＡＳＰサーバ群には、図１に示した以外の情報サービス、例えば、株価情報，取引先情報，顧客情報，商品情報などが存在してもよい。
【００３２】
音声ポータルサーバ５０は、個人情報を管理し、個人の特性に応じたサービスをすることも可能である。
【００３３】
図２〜図４は、移動端末の構成を示す図であり、図５〜図７は、家庭(固定)端末の構成を示す図である。各端末の基幹部分は、ほぼ同じように構成されている。
【００３４】
図２は、本発明による音声入力端末であるＰＤＡの実施形態の構成を示すブロック図である。ＰＤＡ１０ａは、無線基地局２０と通信するアンテナ１０ａ１と、無線通信するための通信手段１０ａ２とを含んでいる。通信手段１０ａ２は、Voice Over IP(VoIP)技術などにより、音声とデータとを同時に送受信できる。処理装置およびＷｅｂブラウザ１０ａ３は、各構成部および周辺装置と接続され、端末全体を制御する。周辺装置としては、音声入力用のマイクMIC１０ａ４，タッチパネルとして構成する座標入力装置(タブレット)ＴＢ１０ａ５，液晶ディスプレイＬＣＤ１０ａ６，スピーカＳＰ１０ａ７がある。
【００３５】
ＰＤＡ１０ａは、移動端末にとって重要な位置検出手段１０ａ８を備えており、ＧＰＳ(Global Positioning System)１０ａ９に接続されている。
【００３６】
ＰＤＡ１０ａの操作は、タッチパネルと音声でなされる。その処理結果はディスプレイに表示され、次の操作の待ち状態となる。
【００３７】
図３は、本発明による音声入力端末であるMobileＴＥＬの構成を示すブロック図である。構成要素は、図２のＰＤＡ１０ａと同じである。しかし、一般に、価格を抑えるため、液晶ディスプレイＬＣＤ１０ｂ６のサイズやカラー表示性能が異なる。一方、携帯電話用各種応用ソフトが追加されている。
【００３８】
図４は、本発明による音声入力端末であるMobileCarＰＣの構成を示すブロック図である。構成要素は、基本的には、図２のＰＤＡ１０ａと同じである。しかし、車載用に適した液晶ディスプレイＬＣＤ１０ｃ６や車載用応用ソフトが、図２のＰＤＡ１０ａとは異なる。また、図示していないが、車載の各種センサと接続され、車両に関する情報を表示してもよい。
【００３９】
図５は、本発明による音声入力端末である家庭電話の構成を示すブロック図である。図２のＰＤＡ１０ａとの違いは、無線基地局２０との通信用アンテナ１０ａ１，位置検出手段１０ａ８，ＧＰＳ１０ａ９が無いことである。
【００４０】
図６は、本発明による音声入力端末であるＴＶの構成を示すブロック図である。図５の固定電話家庭電話３０ａとは、テレビ装置ＴＶ３０ｂ１０，ＴＶ制御手段３０ｂ８，カメラＣＭ３０ｃ９が異なっている。ＴＶ制御手段３０ｂ８は、ＴＶ番組を予約したり、チャンネルを設定したりするための手段であり、一般に、セットトップボックスと呼ばれる。
【００４１】
カメラＣＭ３０ｃ９は、通信相手に会話用映像を送ったり、室内を画像で監視したりすることに用いる。
【００４２】
図７は、本発明による音声入力端末であるＰＣの構成を示すブロック図である。図６のテレビシステムＴＶ３０ｂと異なるのは、ＴＶ制御手段が無いことである。ＰＣの操作は、タッチパネルまたは音声でなされる。図示しないが、キーボードを接続し、ＰＣを操作してもよい。
【００４３】
なお、図６および図７に示したカメラＣＭ３０ｃ９は、図２〜図５の音声入力端末に装備してもよい。
【００４４】
図８は、本発明による音声ポータルサーバ５０の実施形態の構成を示すブロック図である。本発明の特徴的な部分である音声ポータルサーバ５０は、インターネット網４０と通信する通信手段５０１と、音声ポータルサーバ５０全体を処理する処理装置５０２と、音声データVinを取り込み認識辞書５０４を用いてテキストデータVtext１に認識出力する音声認識手段５０３と、認識された音声Vtext１をコマンドテキスト辞書５０６を用いてコマンドとオブジェクトVtext２に変換するコマンド変換手段５０５と、音声入力端末や各種情報ＡＳＰとの対話を制御する対話制御手段５０７と、対話制御手段の音声テキストVtext３により音声を合成する音声合成手段５０８と、Ｗｅｂブラウザ５０９とからなる。
【００４５】
図９は、本発明による音声ポータルサーバ５０の音声認識手段５０３の構成を示すブロック図である。本実施形態では、音声認識手段が２つの認識エンジンを備えていることが特徴である。すなわち、音声認識手段５０３は、比較的長い音声を認識させる連続音声認識エンジン５０３ａとコマンドのような比較的短い音声を認識する単語音声認識エンジン５０３ｂで構成される。
【００４６】
連続音声認識エンジン５０３ａは、連続音声認識辞書５０４ａを用いて音声を認識し、単語音声認識辞エンジン５０３ｂは、単語音声認識辞書５０４ｂを用いて音声を認識する。
【００４７】
各認識エンジンの認識結果は、認識総合的評価手段５０３ｃで総合的に評価される。一般に、連続音声認識エンジンは、単語間の遷移確率モデルを用いて認識する方式を用いるため、コマンドのような短い単語が入力されると、前後の単語知識を利用できないため、誤認識が多くなる。
【００４８】
そこで、認識総合評価手段で、どちらの認識エンジンの出力が正しいかを総合的に判断することが必要になる。
【００４９】
認識総合的評価手段５０３ｃの動作を図１０〜図１３を用いて具体例で説明する。
【００５０】
図１０〜図１１は、２つの認識エンジンの認識結果を音声の発話時間を用いて切り替える例を示している。認識総合的評価手段５０３ｃは、発話時間評価において、音声データVinをしきい値と比較し、短ければＳ側に、長ければＬ側に切り替える。
【００５１】
図１０は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図であり、発話時間が比較的短い“はい。”という音声が入力されたときの状態を説明する図である。この場合は、Ｓ側に切り替えられて、認識総合評価手段の出力Vtext１は、“はい。”の文字列が出力される。ここで、しきい値は、単語音声認識辞書の最大発話時間を選んでおく。
【００５２】
図１１は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図であり、発話時間が比較的長い“日立神田に目的地を設定する。”という音声発話データが入力されたときの状態を示す図である。この場合は、Ｌ側に切り替えられて、認識総合評価手段の出力Vtext１は、“日立神田に目的地を設定する。”の文字列が出力される。
【００５３】
図１２〜図１３は、発話時間を評価するのではなく、認識エンジンの結果の文字列長をしきい値と評価する例である。
【００５４】
図１２は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図である。発話時間が比較的短い“はい。”という音声が入力されたときの状態を説明する図である。この場合は、Ｓ側に切り替えられて、認識総合評価手段の出力Vtext１は、“はい。”の文字列が出力される。
【００５５】
図１３は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図である。発話時間が比較的長い“日立神田に目的地を設定する。”という音声発話データが入力されたときの状態を示す図である。この場合は、Ｌ側に切り替えられて、認識総合評価手段の出力Vtext１は、“日立神田に目的地を設定する。”の文字列が出力される。
【００５６】
なお、認識エンジンでは、余りにも辞書とかけ離れた音声が入力されると“認識不能を示す文字列＝“？”を出力するようにしている。この場合においても、しきい値を適当な値(例：コマンド文字列の最大長)を選んでおくことにより、最適な文字列が出力され、全体の認識性能が改善される。
【００５７】
以上の２つの方式で説明したように、音声発話データが“はい。”というコマンドであっても、連続音声認識エンジンのみの場合、“肺。”という文字が出力されてしまう問題を解決できる。
【００５８】
図１４は、本発明による音声ポータルサーバ５０のコマンド変換手段５０５の構成を示すブロック図である。音声認識手段５０３の文字列Vtext１がコマンド変換手段に入力されると、コマンド文字列検索５０５ａにおいて、コマンドテキスト辞書５０６を用いて、コマンド文字列が含まれるかどうかを処理する。
【００５９】
図１５は、本発明による音声コマンドテキスト辞書の例を示す図である。コマンドテキスト辞書５０６では、コマンドＩＤ、コマンド名１〜コマンド名５まであり、同一コマンドＩＤでは、どれが入力されてもよいようになっている。例えば、“目的地設定。”と“行く。”の文字列は同一コマンドＩＤ＝Ｄ０１として判断される。
【００６０】
図１５のコマンドテキスト文字は、各情報ＡＳＰにあわせたコマンド(ＮＯ１〜ＮＯ８)，音声対話用のコマンド(ＮＯ９〜ＮＯ１０)，画面操作用のコマンド(ＮＯ１１〜ＮＯ２２)に大別できる。
【００６１】
コマンド文字列検索は、完全一致を前提としいるが、図２３〜図２４で後述するように、一部認識誤りを含んでいても検索できるようにしてもよい。
【００６２】
コマンド文字列検索５０５ａ処理後は、コマンド以外の文字列であるオブジェクトを抽出するオブジェクト抽出５０５ｂを実行する。この処理は、各情報ＡＳＰに送出するコマンドと検索対象文字列であるオブジェクトとを抽出する処理である。
【００６３】
図１６は、本発明による音声ポータルサーバ５０のコマンド変換手段５０５の動作を説明する図である。音声認識手段の結果Vtext１が、“日立神田に目的地を設定する。”であるとすると、コマンド文字列検索５０５ａでは、コマンドテキスト辞書５０６を参照してコマンド文字列が“目的地を設定する。”と判断し、コマンドＩＤ＝Ｄ０１と理解する。
【００６４】
次に、オブジェクト抽出５０５ｂでは、コマンド文字列以外のがオブジェクトと判断し、オブジェクト“日立神田に。”が抽出される。したがって、オブジェクト抽出手段５０５ｂの結果Vtext２は、“コマンドＩＤ=Ｄ０１、オブジェクト＝日立神田に。”として出力される。
【００６５】
なお、オブジェクト抽出手段５０５ｂでは、処理を簡単にするため、コマンド文字列以外の全ての文字列をオブジェクトにしたが、形態素解析を実行し、“日立神田に。”の“に”を省いて抽出するようにしてもよい。
【００６６】
図１７は、本発明による音声ポータルサーバ５０の対話制御手段５０７の構成を示すブロック図である。対話制御手段５０７は、全体を制御する対話処理手段５０７ａと、音声対話の基本対話ルール５０７ｂと、音声入力端末とのインタフェースである端末データ制御手段５０７ｃと、各情報ＡＳＰとのインタフェースであるＡＳＰ制御手段５０７ｄと、音声合成制御手段５０７ｅとで構成される。
【００６７】
基本対話ルール５０７ｂは、各情報ＡＳＰで共通に使用されるルールを格納するものであり、各情報ＡＳＰの特有の対話ルールは、各情報ＡＳＰからダウンロードされる。
【００６８】
まず、音声認識手段５０５からの出力であるVtext２が入力されると、対話処理手段５０７ａで、コマンドＩＤを判断し、どの情報ＡＳＰに対応するかを判断し、対応する情報ＡＳＰにコマンドＩＤおよびオブジェクトをASPDataOutとして送信する。
【００６９】
次に、対応した情報ＡＳＰからの検索結果が、ASPDataInとしてＡＳＰ制御手段５０７ｂに入力されたら、端末制御５０７ｃは、その検索を要求した音声入力端末に対して、TdataOutを出力する。音声入力端末では、その検索結果のデータが表示される。
【００７０】
さらに、文字列により音声合成出力する場合は、音声合成制御手段５０７ｅから、Vtext３として音声列を出力し、音声合成手段５０８で合成した音声Ｖoutを音声入力端末に送り、スピーカから音を出す。
【００７１】
なお、音声入力端末からの音ではないデータ入力がある場合は、TdataInとして受け付ける。
【００７２】
また、対話制御手段５０７は、音声対話用VoiceＸＭＬブラウザで構成してもよい。
【００７３】
次に、図１８〜図２１により、各情報ＡＳＰの詳細な構成を説明する。
【００７４】
図１８は、本発明によるナビゲーション情報ＡＳＰの構成を示すブロック図である。ナビゲーション情報ＡＳＰは、地図情報や経路探索情報をサービスするプロバイダであり、インターネットとのインタフェース６０ａ１００と、あいまい検索手段６０ａ２００と、経路探索手段６０ａ５００と、対話ルール処理手段６０ａ７００とからなる。各手段は、各々辞書を参照して要求を処理する。
【００７５】
あいまい検索手段６０ａ２００は、行き先情報であるランドマーク情報のデータベースランドマークＤＢ６０ａ３００と、あいまい検索するためのランドマークＩＮＤＥＸ６０ａ４００辞書とを参照する。詳細な動作については、後述する。
【００７６】
経路探索手段６０ａ５００は、地図データであるMapDB６０ａ６００を参照して現在地から、目的地までの経路を探索する。この経路探索は、一般になされている経路探索処理であるので、詳細な説明を省略する。
【００７７】
対話ルール処理手段６０ａ７００は、各情報ＡＳＰごとに特有の対話ルールを処理する手段であり、対話ルール６０ｂ８００は、音声ポータルサーバ５０の基本対話以外のルールとして利用される。
【００７８】
図１９は、本発明による音楽情報ＡＳＰの構成を示すブロック図である。
図１８のＡＳＰと比較すると、音楽情報ＡＳＰには、経路探索手段に相当するものが無く、コンテンツが、音楽ＤＢ６０ｂ３００，音楽ＩＮＤＥＸ６０ｂ４００，音楽用対話ルール６０ｂ８００となっている。
【００７９】
図２０は、本発明によるＴＶ番組情報ＡＳＰの構成を示すブロック図である。図１９のＡＳＰとは、コンテンツの内容が異なるだけである。コンテンツとしては、ＴＶ番組ＤＢ６０ｃ３００，番組ＩＮＤＥＸ６０ｃ４００，番組用対話ルール６０ｃ８００がある。
【００８０】
なお、本明細書で、ＴＶ番組とは、ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報を意味する。
【００８１】
図２１は、本発明による電話情報ＡＳＰの構成を示すブロック図である。
図１９のＡＳＰとは、コンテンツが異なり、電話ＤＢ６０ｄ３００，電話ＩＮＤＥＸ６０ｄ４００，電話用対話ルール６０ｄ８００を備えている。
【００８２】
図２２は、本発明による音声操作メニュー画面の一例を示す図である。音声メニューには、各情報ＡＳＰに応じて音声メニューアイコンが用意されている。ナビゲーション情報ＡＳＰに関するものには、“目的地設定。”，“目的地検索。”，“経由地設定。”，“現在地表示。”がある。
【００８３】
音楽情報ＡＳＰに関するものには、“音楽検索。”がある。番組情報ＡＳＰに関するものには、“番組検索。”、“番組予約。”がある。電話情報ＡＳＰに関すものには、“電話検索。”がある。
【００８４】
本発明では、項目を音声メニューから入力する方法と、対象物も含めてすべて音声で入力する方法も許している。例えば、目的地検索の例では、メニューを押さずに、“日立神田に目的地を設定する。”と直接音声入力してもよい。
【００８５】
図２３は、本発明による各種情報ＡＳＰのあいまい検索手段６０ａ２００の構成を示すブロック図である。他のあいまい検索手段６０ｂ２００，６０ｃ２００，６０ｄ２００の構成も、あいまい検索手段６０ａ２００と同様である。
【００８６】
図２３において、あいまい検索手段６０ａ２００は、検索エンジン６０ａ１００と、２文字ＩＮＤＥＸ生成６０ａ２２０とからなる。検索エンジン６０ａ１００および２文字ＩＮＤＥＸ生成６０ａ２２０は、ランドマークＤＢａ３００およびランドマークＩＮＤＥＸ６０ａ４００を参照しながら検索処理する。
【００８７】
ランドマークＤＢは、数百万件の膨大なデータを保有しているので、ランドマークＩＮＤＥＸは、２文字ＩＮＤＥＸ生成処理により、予め作成しておく必要がある。本発明においては、この２文字ＩＮＤＥＸ生成処理により、高速でかつあいまい検索がなされるのが特徴である。ここで、あいまい検索とは、検索語句の意味があいまいではなく、文字列の一部の誤り(一部文字列追加、一部文字列欠損、文字列順不同、一部文字列誤り)があっても、入力された語句を検索できることを意味している。
【００８８】
図２４は、本発明による各種情報ＡＳＰのあいまい検索の手順の一例を示す図である。例として、“日立神田に。”に目的地設定をする場合を示す。
【００８９】
まず、“日立神田に。”の検索キーワード６０ａ２００ｋｅｙが入力されると、２文字ごとに切出処理６０ａ２１１をする。
【００９０】
次に、２文字ごとにランドマークＩＮＤＥＸ検索６０ａ２１２をする。
【００９１】
ランドマークＩＮＤＥＸ検索６０ａ２１２からランドマークＤＢを検索し、ヒットするＤＢのレコードを抽出する。
【００９２】
抽出したレコードのうち、ヒット文字数の多いものの順にソーティングし出力処理６０ａ２１４し、検索結果としてリスト６０ａ２００ｒｅｓを出力する。
【００９３】
以上のように、２文字ごとのＩＮＤＥＸ検索するので、高速検索とあいまい検索の両方の特徴をもつ。
【００９４】
ここで、“日立神田に。”の“に。”が検索オブジェクトにあってもランドマークＤＢに該当するものがなければ、無視される。一方、“神田日立に。”と入力されても、関係するものがヒットする。
【００９５】
このため、思いついた地名やランドマークを入力できる効果がある。
【００９６】
なお、複数の検索結果を音声入力端末に出力し、どの検索対象物を選択するかを音声指示し、選択することもできる。
【００９７】
本実施形態では、図２３〜図２４に図示したように、２文字ＩＮＤＥＸ生成処理により、検索する例を示したが、３文字ＩＮＤＥＸや４文字ＩＮＤＥＸ生成でもよい。
【００９８】
特に、数字やアルファベットが多い情報をもつ場合、３文字ＩＮＤＥＸや４文字ＩＮＤＥＸ生成の方が、２文字ＩＮＤＥＸ処理よりも、不要な検索出力が少なくなるという効果がある。
【００９９】
図２５〜図２８を用いて、音声入力端末，音声ポータルサーバ５０，情報ＡＳＰ６０間の具体的な通信手順を説明する。
【０１００】
図２５は、本発明による音声入力端末と音声ポータルサーバとナビゲーション情報ＡＳＰとの間の通信手順を示す図である。ここでは、音声入力端末MobileＰＣ１０ｃ，音声ポータルサーバ５０，ナビゲーション情報ＡＳＰ６０ａ間の通信手順を示すが、他の情報ＡＳＰ間との通信手順もほぼ同様である。
【０１０１】
まず、音声入力端末MobileＰＣ１０ｃから音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末MobileＰＣ１０ｃに音声出力する。同時に、図２１の音声メニューも表示される。
【０１０２】
次に、音声入力端末MobileＰＣ１０ｃでは、音声で“日立神田に目的地を設定する。”と直接音声入力する。
【０１０３】
音声ポータルサーバ５０では、これを認識し、対応して“日立神田に目的地を設定しますか？。”と音声応答する。
【０１０４】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１０５】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末MobileＰＣ１０ｃに返すとともに、ナビゲーション情報ＡＳＰ６０ａに対し、コマンドＩＤ“Ｄ０１。”、オブジェクト“日立神田に。”のデータを送信し、検索結果を返してもらう。ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１０６】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？”と音声応答する。同時に、音声入力端末MobileＰＣ１０ｃのディスプレイには、検索結果の内容表示がされる。
【０１０７】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０は音声を認識し、対応する音声“目的地を１番に設定します。”を出力する。
【０１０８】
さらに、音声入力端末MobileＰＣ１０ｃに現在位置を要求し、現在位置情報を得て、この情報を元に、ナビゲーション情報ＡＳＰ６０ａに対して、経路探索コマンドとそのパラメータとを送信する。
【０１０９】
音声ポータルサーバ５０は、ナビゲーション情報ＡＳＰから、探索結果である経路情報および地図情報を得て、音声入力端末MobileＰＣ１０ｃに出力するとともに、音声“安全運転でどうぞ。”と音声応答する。
【０１１０】
ここで、上記通信手順で、“いいえ。”が入力されると、図示していないが、“ご用件を入力ください。”に再度戻るようになっている。
【０１１１】
複数ある検索結果を選択する場合、音声で選択する例を示したが、タッチパネルを備えているので、タッチパネルで選択してもよい。この場合、検索結果の内容とタッチパネルの座標との対応は、予め決めておかなければならない。
【０１１２】
図２５において、音声入力端末としてMobileＰＣ１０ｃを用いたが、ＰＤＡ１０ａ、MobileＴＥＬ１０ｂとナビゲーション情報ＡＳＰ間でやり取りしてもよい。この場合、人間ナビゲーションシステムになる。
すなわち、自分の音声入力端末の現在位置がわかるので、現在位置情報を表示したり、行きたいランドマークを検索したりできる。
【０１１３】
図２６は、本発明による音声入力端末と音声ポータルサーバと音楽情報ＡＳＰとの間の通信手順を示す図である。音声入力端末MobileＰＣ１０ｃが、音声ポータルサーバ５０を介して音楽情報ＡＳＰ６０ｂから音楽のコンテンツサービスを受ける通信手順である。
【０１１４】
まず、音声入力端末MobileＰＣ１０ｃから音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末MobileＰＣ１０ｃに音声出力する。同時に、図２１の音声メニューも表示される。
【０１１５】
次に、音声入力端末MobileＰＣ１０ｃでは、音声で“Mariah Careyの曲を聴きたい。”と直接音声入力する。
【０１１６】
音声ポータルサーバ５０では、その音声を認識し、対応して“Mariah Careyの曲を検索しますか？。”と音声応答がある。
【０１１７】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１１８】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末MobileＰＣ１０ｃに返すとともに、音楽情報ＡＳＰ６０ｂに対し、コマンドＩＤ“M01。”、オブジェクト“Mariah Careyの。”のデータを送信し、検索結果を返してもらう。
【０１１９】
ここでは、検索結果数(３件)と内容(ＸＸＸ，ＹＹＹ、ZZZ)を返す。
【０１２０】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が３件あります。何番にしますか？。”と音声応答する。同時に、音声入力端末MobileＰＣ１０ｃのディスプレイには、検索結果の内容表示がされている。
【０１２１】
次に、音声で“３番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“音楽を３番に設定します。”と出力する。同時に、３番の音楽のダウンロードを音楽情報ＡＳＰに指示する。
【０１２２】
これにより、“お楽しみください。”の音声応答と対応した音楽コンテンツが音声入力端末MobileＰＣ１０ｃにダウンロードされる。
【０１２３】
もし、検索結果が１件しか無い時のとき、ＯＫかどうかの音声応答を待って、ダウンロードが開始する。
【０１２４】
図２７は、本発明による音声入力端末と音声ポータルサーバとＴＶ番組情報ＡＳＰとの間の通信手順を示す図である。音声入力端末ＴＶ３０ｂ、ＰＣ３０ｃが、音声ポータルサーバ５０を介して番組情報ＡＳＰ６０ｃからＴＶ番組のコンテンツサービスを受ける通信手順である。
【０１２５】
まず、音声入力端末から音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末に音声出力する。同時に、図２１の音声メニューも表示される。
【０１２６】
次に、音声入力端末では、音声で“天気予報の番組を見たい。”と直接音声入力する。
【０１２７】
音声ポータルサーバ５０では、これを認識し、対応して“天気予報の番組を検索しますか？。”と音声応答がある。
【０１２８】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１２９】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”という音声応答を音声入力端末に返すとともに、番組情報ＡＳＰ６０ｃに対し、コマンドＩＤ“T01”、オブジェクト“天気予報の。”のデータを送信し、検索結果を返してもらう。
【０１３０】
ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１３１】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？”と音声応答する。同時に、音声入力端末のディスプレイには、検索結果の内容表示がされる。
【０１３２】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“番組を１番に設定します。”を出力する。
【０１３３】
その結果、ＴＶ番組に対応したチャンネルが設定されて、天気予報サービスを見ることができる。
【０１３４】
もし、複数の番組がなければ、ＯＫかどうかの音声応答を待ってチャンネルを設定する。
【０１３５】
ここで、もし、天気予報サービスが放送されていないときは、チャンネルを予約できる。この場合は、音声ポータルサーバ５０から、予約するかどうかの案内があり、それに答えると、予約が終了する。
【０１３６】
なお、毎週見ているＴＶ番組については、毎週予約などもできる。
【０１３７】
図２８は、本発明による音声入力端末と音声ポータルサーバと電話情報ＡＳＰとの間の通信手順を示す図である。音声入力端末家庭電話３０ａ，MobileＴＥＬ１０ｂが、音声ポータルサーバ５０を介して、電話情報ＡＳＰ６０ｄから電話情報のコンテンツサービスを受ける通信手順である。
【０１３８】
まず、音声入力端末から音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末に音声出力する。同時に、図２１の音声メニューも表示される。
【０１３９】
次に、音声入力端末では、音声で“日立太郎さんに電話をしたい。”と直接音声入力する。
【０１４０】
音声ポータルサーバ５０では、これを認識し、対応して“日立太郎さん電話をかけますか？。”と音声応答する。
【０１４１】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１４２】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末に返すとともに、電話情報ＡＳＰ６０ｄに対し、コマンドＩＤ“P01。”、オブジェクト“日立太郎さんに。”のデータを送信し、検索結果を返してもらう。
【０１４３】
ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１４４】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？。”と音声応答する。同時に、音声入力端末のディスプレイには、検索結果の内容表示がされている。
【０１４５】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“電話を１番にかけます。”と出力する。
【０１４６】
具体的には、日立太郎さんの電話に電話をかけて、相手がでたら対話できる。もし、検索結果が一人だけならば、ＯＫかどうかの音声応答を待って電話をかける。
【０１４７】
【発明の効果】
本発明によれば、音声入力端末から入力された音声を音声ポータルサーバで認識してコマンドとオブジェクトとのテキストに分離し、分離されたテキストに基づき、アプリケーションサービスプロバイダにある情報をあいまい検索し、オブジェクトテキストに一部認識誤りがあっても、意図する情報を音声入力端末に提供できる。
【０１４８】
また、音声ポータルサーバの音声認識エンジンを長い文章に適した連続音声認識エンジンとコマンドのような短い文章に適した単語音声認識エンジンの２つで構成し、総合的に評価しているため、音声対話の認識性能が向上する。
【０１４９】
さらに、アプリケーションサービスプロバイダ(ＡＳＰ)として、ナビゲーション情報ＡＳＰ，音楽情報ＡＳＰ，番組情報ＡＳＰ，電話情報ＡＳＰを設けたので、ＰＤＡ，MobileＴＥＬ，MobileCarＰＣなどの移動する音声入力端末や、家庭電話，ＴＶ，ＰＣなどの家庭の音声入力端末にも、それぞれの必要に応じて、最適な情報をサービスできる。
【図面の簡単な説明】
【図１】本発明による音声入力システムの実施形態の全体構成を示すブロック図である。
【図２】本発明による音声入力端末であるＰＤＡの実施形態の構成を示すブロック図である。
【図３】本発明による音声入力端末であるMobileＴＥＬの構成を示すブロック図である。
【図４】本発明による音声入力端末であるMobileCarＰＣの構成を示すブロック図である。
【図５】本発明による音声入力端末である家庭電話の構成を示すブロック図である。
【図６】本発明による音声入力端末であるＴＶの構成を示すブロック図である。
【図７】本発明による音声入力端末であるＰＣの構成を示すブロック図である。
【図８】本発明による音声ポータルサーバの実施形態の構成を示すブロック図である。
【図９】本発明による音声ポータルサーバの音声認識手段の構成を示すブロック図である。
【図１０】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１１】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１２】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１３】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１４】本発明による音声ポータルサーバのコマンド変換手段の構成を示すブロック図である。
【図１５】本発明による音声コマンドテキスト辞書の例を示す図である。
【図１６】本発明による音声ポータルサーバのコマンド変換手段の動作を説明する図である。
【図１７】本発明による音声ポータルサーバの対話制御手段の構成を示すブロック図である。
【図１８】本発明によるナビゲーション情報ＡＳＰの構成を示すブロック図である。
【図１９】本発明による音楽情報ＡＳＰの構成を示すブロック図である。
【図２０】本発明によるＴＶ番組情報ＡＳＰの構成を示すブロック図である。
【図２１】本発明による電話情報ＡＳＰの構成を示すブロック図である。
【図２２】本発明による音声操作メニュー画面の一例を示す図である。
【図２３】本発明による各種情報ＡＳＰのあいまい検索手段の構成を示すブロック図である。
【図２４】本発明による各種情報ＡＳＰのあいまい検索の手順の一例を示す図である。
【図２５】本発明による音声入力端末と音声ポータルサーバとナビゲーション情報ＡＳＰとの間の通信手順を示す図である。
【図２６】本発明による音声入力端末と音声ポータルサーバと音楽情報ＡＳＰとの間の通信手順を示す図である。
【図２７】本発明による音声入力端末と音声ポータルサーバとＴＶ番組情報ＡＳＰとの間の通信手順を示す図である。
【図２８】本発明による音声入力端末と音声ポータルサーバと電話情報ＡＳＰとの間の通信手順を示す図である。
【符号の説明】
１０ 携帯端末
１０ａ ＰＤＡ
１０ｂ MobileＴＥＬ
１０ｃ MobileCarＰＣ
２０ 無線基地局
３０ 家庭端末
３０ａ 家庭電話HomeＴＥＬ
３０ｂ ＴＶ
３０ｃ ＰＣ
４０ インターネット網
５０ 音声ポータルサーバ
５０１ 通信手段
５０２ 処理装置
５０３ 音声認識手段
５０３ａ 連続音声認識
５０３ｂ 単語音声認識
５０３ｃ 認識総合評価
５０４ 認識辞書
５０４ａ 連続音声認識辞書
５０４ｂ 単語音声認識辞書
５０５ コマンド変換手段
５０５ａ コマンド文字列検索
５０５ｂ オブジェクト抽出
５０６ コマンドテキスト辞書
５０７ 対話制御手段
５０７ａ 対話処理手段
５０７ｂ 基本対話ルール
５０７ｃ 端末データ制御
５０７ｄ ＡＳＰ制御手段
５０７ｅ 音声合成制御
５０８ 音声合成手段
５０９ Ｗｅｂブラウザ
６０ 情報ＡＳＰ
６０ａ ナビゲーション情報ＡＳＰ
６０ｂ 音楽情報ＡＳＰ
６０ｃ 番組情報ＡＳＰ
６０ｄ 電話情報ＡＳＰ
【発明の属する技術分野】
本発明は、音声入力システム，音声ポータルサーバ，音声入力端末に係り、特に、ＰＤＡ(Personal Digital Assistants)，携帯電話，車載ナビゲーションなどの移動端末装置からまたは家庭電話，ＴＶ，ＰＣなどの家庭(固定)端末から音声でネットワークにアクセスし、地図情報，音楽情報，ＴＶ番組情報，電話情報などを提供する情報提供サービスプロバイダから情報やサービスを受ける音声入力システムに関する。
【０００２】
【従来の技術】
特開平１１−１４３４９３号公報は、入力された音声を音声言語理解装置によりデータベース言語の中間言語に変換して単語を検索するシステムを記載している。
【０００３】
特開２０００−５７４９０号公報は、認識辞書を切り替えながら入力された音声の認識性能を向上させる方法を記載している。
【０００４】
特開２００１−３４２９２号公報は、ワードスポッティングという技術で辞書にある言葉を切り出し、要求キーワードを認識して話題を確定し、その話題用の認識辞書を用いて音声を認識させ、認識性能を向上させる方法を記載している。
【０００５】
【発明が解決しようとする課題】
特開平１１−１４３４９３号公報の技術は、識別誤りが最小になるように文章データをそれに対応する中間言語に変換する隠れマルコフモデルを学習する方法である。この方式では、統計的処理に基づく学習であるから、いろいろな分野に同時にサービスしようとすると、分野ごとに学習する必要があり、処理に多くの時間がかかり、認識性能が下がる。また、長い文章と短い文章とが混在する実際の対話を考慮した音声入力システムにはなっていない。さらに、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００６】
特開２０００−５７４９０号公報の技術は、認識結果に応じて対応辞書を切り替えて認識性能を向上させるナビゲーションの発明であるが、音声を連続入力できない。また、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００７】
特開２００１−３４２９２号公報の技術は、認識結果に応じて話題を切り出し辞書を切り替えて認識性能を上げる発明である。しかし、上記２つの従来技術と同様に、認識文字列の一部に誤りがあった場合についての配慮がない。
【０００８】
本発明の目的は、ＰＤＡ，携帯電話などの移動端末や家庭電話(HomeＴＥＬ)，ＴＶ，ＰＣなどの固定端末から音声でネットにアクセスし、地図情報，音楽情報，番組情報，電話情報などを提供するプロバイダからサービスを受ける音声入力システムおよび音声ポータルサーバおよび音声入力端末を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとに基づいて各種情報を提供するアプリケーションサービスプロバイダにアクセスしてサービスを受けこのサービスを音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバと、音声ポータルサーバから受信したコマンドテキストおよびオブジェクトテキストに基づいて情報を検索する情報検索手段を備え検索結果を音声ポータルサーバにサービスするアプリケーションサービスプロバイダとからなる音声入力システムを提案する。
【００１０】
本発明は、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなり、アプリケーションサービスプロバイダの情報検索手段が、入力されたオブジェクトテキストをｎ文字ごとに切り出し予め作成してあるｎ文字ＩＮＤＥＸに基づいて情報検索する手段である音声入力システムを提案する。
【００１１】
アプリケーションサービスプロバイダは、地図情報をサービスするナビゲーション情報アプリケーションサービスプロバイダ，音楽情報をサービスする音楽情報アプリケーションサービスプロバイダ，ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報をサービスする番組情報アプリケーションサービスプロバイダ，電話情報をサービスする電話情報アプリケーションサービスプロバイダなどとする。
【００１２】
本発明においては、音声入力端末から入力された音声を音声ポータルサーバで認識してコマンドとオブジェクトとのテキストに分離し、分離されたテキストに基づき、アプリケーションサービスプロバイダにある情報をあいまい検索し、オブジェクトテキストに一部認識誤りがあっても、意図する情報を音声入力端末に提供できる。
【００１３】
本発明は、また、音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなる音声入力システムにおいて、音声ポータルサーバが、音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとをアプリケーションサービスプロバイダに送りアプリケーションサービスプロバイダで検索された情報を音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバを提案する。
【００１４】
音声認識手段は、連続音声認識手段と、単語音声認識手段と、入力された音声の特徴量をしきい値として２つの認識手段の認識結果の一方を選択して出力する認識総合評価手段とを備える。
【００１５】
音声の特徴量は、発話時間，認識文字列長のいずれを採用してもよい。
【００１６】
音声ポータルサーバの音声認識エンジンを長い文章に適した連続音声認識エンジンとコマンドのような短い文章に適した単語音声認識エンジンの２つで構成し、総合的に評価しているため、音声対話の認識性能が向上する。
【００１７】
本発明は、さらに、音声ポータルサーバおよび各種情報を提供するアプリケーションサービスプロバイダにアクセスしサービスを受ける音声入力端末において、音声入出力手段と、Ｗｅｂブラウザと、外部システムへのアクセス状況および検索結果を表示する表示手段とを備えている。
【００１８】
音声入力端末は、ＰＤＡ，携帯電話，車載ナビゲーションのいずれかに組み込まれている携帯音声入力端末と、家庭電話，ＴＶ，ＰＣのいずれかに組み込まれている家庭音声入力端末とに分類できる。
【００１９】
アプリケーションサービスプロバイダ(ＡＳＰ)として、ナビゲーション情報ＡＳＰ，音楽情報ＡＳＰ，番組情報ＡＳＰ，電話情報ＡＳＰを設けたので、ＰＤＡ，MobileＴＥＬ，MobileCarＰＣなどの移動する音声入力端末や、家庭電話，ＴＶ，ＰＣなどの家庭の音声入力端末にも、それぞれの必要に応じて、最適な情報をサービスできる。
【００２０】
【発明の実施の形態】
次に、図１〜図２８を参照して、本発明による音声入力システム，音声ポータルサーバ，音声入力端末の実施形態を説明する。
【００２１】
図１は、本発明による音声入力システムの実施形態の全体構成を示すブロック図である。
【００２２】
本実施形態では、音声入力端末装置としては、移動端末１０と家庭(固定)端末３０とを使用できる。移動端末１０としては、ＰＤＡ１０ａ，携帯電話１０ｂ，車載端末１０ｃなどがある。家庭(固定)端末３０としては、家庭内での利用を想定した固定電話３０ａ，情報家電としてのテレビシステムＴＶ３０ｂ，パーソナルコンピュータＰＣ３０ｃなどがある。移動端末１０ａ〜１０ｃは、無線基地局２０を介してインターネット網４０に接続され、家庭端末３０ａ〜３０ｃは、インターネット網４０に直接接続されている。
【００２３】
音声対話全体を制御する音声ポータル５０および各種アプリケーションサービスプロバイダ(ＡＳＰ)６０も、インターネット網４０に接続されている。
【００２４】
ＡＳＰとしては、地図情報をサービスするナビゲーション情報ＡＳＰ６０ａ，音楽情報ＡＳＰ６０ｂ，ＴＶ番組情報ＡＳＰ６０ｃ，電話情報ＡＳＰ６０ｄなどがある。
【００２５】
音声入力端末１０ａ〜１０ｃ，３０ａ〜３０ｃのいずれかから、音声ポータルサーバ５０に接続すると、音声のガイダンスやメニュー表示が音声入力端末に出力され、対応する音声を入力すると、音声はインターネット網４０を介して音声ポータルサーバ５０に転送される。
【００２６】
音声ポータルサーバ５０は、音声を認識し、音声の内容をコマンドや検索対象物であるオブジェクトとしてコマンド変換処理し、コマンドの内容に対応したＡＳＰ６０に転送する。
【００２７】
ＡＳＰ６０では、対応するデータベースを検索し、音声ポータルサーバ５０を経由して、音声を入力してきた音声入力端末に検索結果を出力する。
【００２８】
以上に説明したように、音声入力システムは、キーボード(ＫＢ)を利用しにくい環境にある移動端末やキーボード操作に慣れていない家庭での端末に主に利用され、入力を容易にする。
【００２９】
本実施形態においては、音声入力システムの全体構成として、サーバ群をインターネットに接続してある。
【００３０】
サーバ群をイントラネットやホームネットに接続しても、これらのネットワーク内では、効果は変わらない。各種ＡＳＰ群を近くに置き、これらのＡＳＰ群では意図するデータをサービスできないときのみインターネットのサーバ群に接続するいわゆるキャッシュサーバとして設置してもよい。
【００３１】
なお、ＡＳＰサーバ群には、図１に示した以外の情報サービス、例えば、株価情報，取引先情報，顧客情報，商品情報などが存在してもよい。
【００３２】
音声ポータルサーバ５０は、個人情報を管理し、個人の特性に応じたサービスをすることも可能である。
【００３３】
図２〜図４は、移動端末の構成を示す図であり、図５〜図７は、家庭(固定)端末の構成を示す図である。各端末の基幹部分は、ほぼ同じように構成されている。
【００３４】
図２は、本発明による音声入力端末であるＰＤＡの実施形態の構成を示すブロック図である。ＰＤＡ１０ａは、無線基地局２０と通信するアンテナ１０ａ１と、無線通信するための通信手段１０ａ２とを含んでいる。通信手段１０ａ２は、Voice Over IP(VoIP)技術などにより、音声とデータとを同時に送受信できる。処理装置およびＷｅｂブラウザ１０ａ３は、各構成部および周辺装置と接続され、端末全体を制御する。周辺装置としては、音声入力用のマイクMIC１０ａ４，タッチパネルとして構成する座標入力装置(タブレット)ＴＢ１０ａ５，液晶ディスプレイＬＣＤ１０ａ６，スピーカＳＰ１０ａ７がある。
【００３５】
ＰＤＡ１０ａは、移動端末にとって重要な位置検出手段１０ａ８を備えており、ＧＰＳ(Global Positioning System)１０ａ９に接続されている。
【００３６】
ＰＤＡ１０ａの操作は、タッチパネルと音声でなされる。その処理結果はディスプレイに表示され、次の操作の待ち状態となる。
【００３７】
図３は、本発明による音声入力端末であるMobileＴＥＬの構成を示すブロック図である。構成要素は、図２のＰＤＡ１０ａと同じである。しかし、一般に、価格を抑えるため、液晶ディスプレイＬＣＤ１０ｂ６のサイズやカラー表示性能が異なる。一方、携帯電話用各種応用ソフトが追加されている。
【００３８】
図４は、本発明による音声入力端末であるMobileCarＰＣの構成を示すブロック図である。構成要素は、基本的には、図２のＰＤＡ１０ａと同じである。しかし、車載用に適した液晶ディスプレイＬＣＤ１０ｃ６や車載用応用ソフトが、図２のＰＤＡ１０ａとは異なる。また、図示していないが、車載の各種センサと接続され、車両に関する情報を表示してもよい。
【００３９】
図５は、本発明による音声入力端末である家庭電話の構成を示すブロック図である。図２のＰＤＡ１０ａとの違いは、無線基地局２０との通信用アンテナ１０ａ１，位置検出手段１０ａ８，ＧＰＳ１０ａ９が無いことである。
【００４０】
図６は、本発明による音声入力端末であるＴＶの構成を示すブロック図である。図５の固定電話家庭電話３０ａとは、テレビ装置ＴＶ３０ｂ１０，ＴＶ制御手段３０ｂ８，カメラＣＭ３０ｃ９が異なっている。ＴＶ制御手段３０ｂ８は、ＴＶ番組を予約したり、チャンネルを設定したりするための手段であり、一般に、セットトップボックスと呼ばれる。
【００４１】
カメラＣＭ３０ｃ９は、通信相手に会話用映像を送ったり、室内を画像で監視したりすることに用いる。
【００４２】
図７は、本発明による音声入力端末であるＰＣの構成を示すブロック図である。図６のテレビシステムＴＶ３０ｂと異なるのは、ＴＶ制御手段が無いことである。ＰＣの操作は、タッチパネルまたは音声でなされる。図示しないが、キーボードを接続し、ＰＣを操作してもよい。
【００４３】
なお、図６および図７に示したカメラＣＭ３０ｃ９は、図２〜図５の音声入力端末に装備してもよい。
【００４４】
図８は、本発明による音声ポータルサーバ５０の実施形態の構成を示すブロック図である。本発明の特徴的な部分である音声ポータルサーバ５０は、インターネット網４０と通信する通信手段５０１と、音声ポータルサーバ５０全体を処理する処理装置５０２と、音声データVinを取り込み認識辞書５０４を用いてテキストデータVtext１に認識出力する音声認識手段５０３と、認識された音声Vtext１をコマンドテキスト辞書５０６を用いてコマンドとオブジェクトVtext２に変換するコマンド変換手段５０５と、音声入力端末や各種情報ＡＳＰとの対話を制御する対話制御手段５０７と、対話制御手段の音声テキストVtext３により音声を合成する音声合成手段５０８と、Ｗｅｂブラウザ５０９とからなる。
【００４５】
図９は、本発明による音声ポータルサーバ５０の音声認識手段５０３の構成を示すブロック図である。本実施形態では、音声認識手段が２つの認識エンジンを備えていることが特徴である。すなわち、音声認識手段５０３は、比較的長い音声を認識させる連続音声認識エンジン５０３ａとコマンドのような比較的短い音声を認識する単語音声認識エンジン５０３ｂで構成される。
【００４６】
連続音声認識エンジン５０３ａは、連続音声認識辞書５０４ａを用いて音声を認識し、単語音声認識辞エンジン５０３ｂは、単語音声認識辞書５０４ｂを用いて音声を認識する。
【００４７】
各認識エンジンの認識結果は、認識総合的評価手段５０３ｃで総合的に評価される。一般に、連続音声認識エンジンは、単語間の遷移確率モデルを用いて認識する方式を用いるため、コマンドのような短い単語が入力されると、前後の単語知識を利用できないため、誤認識が多くなる。
【００４８】
そこで、認識総合評価手段で、どちらの認識エンジンの出力が正しいかを総合的に判断することが必要になる。
【００４９】
認識総合的評価手段５０３ｃの動作を図１０〜図１３を用いて具体例で説明する。
【００５０】
図１０〜図１１は、２つの認識エンジンの認識結果を音声の発話時間を用いて切り替える例を示している。認識総合的評価手段５０３ｃは、発話時間評価において、音声データVinをしきい値と比較し、短ければＳ側に、長ければＬ側に切り替える。
【００５１】
図１０は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図であり、発話時間が比較的短い“はい。”という音声が入力されたときの状態を説明する図である。この場合は、Ｓ側に切り替えられて、認識総合評価手段の出力Vtext１は、“はい。”の文字列が出力される。ここで、しきい値は、単語音声認識辞書の最大発話時間を選んでおく。
【００５２】
図１１は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図であり、発話時間が比較的長い“日立神田に目的地を設定する。”という音声発話データが入力されたときの状態を示す図である。この場合は、Ｌ側に切り替えられて、認識総合評価手段の出力Vtext１は、“日立神田に目的地を設定する。”の文字列が出力される。
【００５３】
図１２〜図１３は、発話時間を評価するのではなく、認識エンジンの結果の文字列長をしきい値と評価する例である。
【００５４】
図１２は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図である。発話時間が比較的短い“はい。”という音声が入力されたときの状態を説明する図である。この場合は、Ｓ側に切り替えられて、認識総合評価手段の出力Vtext１は、“はい。”の文字列が出力される。
【００５５】
図１３は、本発明による音声ポータルサーバ５０の音声認識手段の動作を説明する図である。発話時間が比較的長い“日立神田に目的地を設定する。”という音声発話データが入力されたときの状態を示す図である。この場合は、Ｌ側に切り替えられて、認識総合評価手段の出力Vtext１は、“日立神田に目的地を設定する。”の文字列が出力される。
【００５６】
なお、認識エンジンでは、余りにも辞書とかけ離れた音声が入力されると“認識不能を示す文字列＝“？”を出力するようにしている。この場合においても、しきい値を適当な値(例：コマンド文字列の最大長)を選んでおくことにより、最適な文字列が出力され、全体の認識性能が改善される。
【００５７】
以上の２つの方式で説明したように、音声発話データが“はい。”というコマンドであっても、連続音声認識エンジンのみの場合、“肺。”という文字が出力されてしまう問題を解決できる。
【００５８】
図１４は、本発明による音声ポータルサーバ５０のコマンド変換手段５０５の構成を示すブロック図である。音声認識手段５０３の文字列Vtext１がコマンド変換手段に入力されると、コマンド文字列検索５０５ａにおいて、コマンドテキスト辞書５０６を用いて、コマンド文字列が含まれるかどうかを処理する。
【００５９】
図１５は、本発明による音声コマンドテキスト辞書の例を示す図である。コマンドテキスト辞書５０６では、コマンドＩＤ、コマンド名１〜コマンド名５まであり、同一コマンドＩＤでは、どれが入力されてもよいようになっている。例えば、“目的地設定。”と“行く。”の文字列は同一コマンドＩＤ＝Ｄ０１として判断される。
【００６０】
図１５のコマンドテキスト文字は、各情報ＡＳＰにあわせたコマンド(ＮＯ１〜ＮＯ８)，音声対話用のコマンド(ＮＯ９〜ＮＯ１０)，画面操作用のコマンド(ＮＯ１１〜ＮＯ２２)に大別できる。
【００６１】
コマンド文字列検索は、完全一致を前提としいるが、図２３〜図２４で後述するように、一部認識誤りを含んでいても検索できるようにしてもよい。
【００６２】
コマンド文字列検索５０５ａ処理後は、コマンド以外の文字列であるオブジェクトを抽出するオブジェクト抽出５０５ｂを実行する。この処理は、各情報ＡＳＰに送出するコマンドと検索対象文字列であるオブジェクトとを抽出する処理である。
【００６３】
図１６は、本発明による音声ポータルサーバ５０のコマンド変換手段５０５の動作を説明する図である。音声認識手段の結果Vtext１が、“日立神田に目的地を設定する。”であるとすると、コマンド文字列検索５０５ａでは、コマンドテキスト辞書５０６を参照してコマンド文字列が“目的地を設定する。”と判断し、コマンドＩＤ＝Ｄ０１と理解する。
【００６４】
次に、オブジェクト抽出５０５ｂでは、コマンド文字列以外のがオブジェクトと判断し、オブジェクト“日立神田に。”が抽出される。したがって、オブジェクト抽出手段５０５ｂの結果Vtext２は、“コマンドＩＤ=Ｄ０１、オブジェクト＝日立神田に。”として出力される。
【００６５】
なお、オブジェクト抽出手段５０５ｂでは、処理を簡単にするため、コマンド文字列以外の全ての文字列をオブジェクトにしたが、形態素解析を実行し、“日立神田に。”の“に”を省いて抽出するようにしてもよい。
【００６６】
図１７は、本発明による音声ポータルサーバ５０の対話制御手段５０７の構成を示すブロック図である。対話制御手段５０７は、全体を制御する対話処理手段５０７ａと、音声対話の基本対話ルール５０７ｂと、音声入力端末とのインタフェースである端末データ制御手段５０７ｃと、各情報ＡＳＰとのインタフェースであるＡＳＰ制御手段５０７ｄと、音声合成制御手段５０７ｅとで構成される。
【００６７】
基本対話ルール５０７ｂは、各情報ＡＳＰで共通に使用されるルールを格納するものであり、各情報ＡＳＰの特有の対話ルールは、各情報ＡＳＰからダウンロードされる。
【００６８】
まず、音声認識手段５０５からの出力であるVtext２が入力されると、対話処理手段５０７ａで、コマンドＩＤを判断し、どの情報ＡＳＰに対応するかを判断し、対応する情報ＡＳＰにコマンドＩＤおよびオブジェクトをASPDataOutとして送信する。
【００６９】
次に、対応した情報ＡＳＰからの検索結果が、ASPDataInとしてＡＳＰ制御手段５０７ｂに入力されたら、端末制御５０７ｃは、その検索を要求した音声入力端末に対して、TdataOutを出力する。音声入力端末では、その検索結果のデータが表示される。
【００７０】
さらに、文字列により音声合成出力する場合は、音声合成制御手段５０７ｅから、Vtext３として音声列を出力し、音声合成手段５０８で合成した音声Ｖoutを音声入力端末に送り、スピーカから音を出す。
【００７１】
なお、音声入力端末からの音ではないデータ入力がある場合は、TdataInとして受け付ける。
【００７２】
また、対話制御手段５０７は、音声対話用VoiceＸＭＬブラウザで構成してもよい。
【００７３】
次に、図１８〜図２１により、各情報ＡＳＰの詳細な構成を説明する。
【００７４】
図１８は、本発明によるナビゲーション情報ＡＳＰの構成を示すブロック図である。ナビゲーション情報ＡＳＰは、地図情報や経路探索情報をサービスするプロバイダであり、インターネットとのインタフェース６０ａ１００と、あいまい検索手段６０ａ２００と、経路探索手段６０ａ５００と、対話ルール処理手段６０ａ７００とからなる。各手段は、各々辞書を参照して要求を処理する。
【００７５】
あいまい検索手段６０ａ２００は、行き先情報であるランドマーク情報のデータベースランドマークＤＢ６０ａ３００と、あいまい検索するためのランドマークＩＮＤＥＸ６０ａ４００辞書とを参照する。詳細な動作については、後述する。
【００７６】
経路探索手段６０ａ５００は、地図データであるMapDB６０ａ６００を参照して現在地から、目的地までの経路を探索する。この経路探索は、一般になされている経路探索処理であるので、詳細な説明を省略する。
【００７７】
対話ルール処理手段６０ａ７００は、各情報ＡＳＰごとに特有の対話ルールを処理する手段であり、対話ルール６０ｂ８００は、音声ポータルサーバ５０の基本対話以外のルールとして利用される。
【００７８】
図１９は、本発明による音楽情報ＡＳＰの構成を示すブロック図である。
図１８のＡＳＰと比較すると、音楽情報ＡＳＰには、経路探索手段に相当するものが無く、コンテンツが、音楽ＤＢ６０ｂ３００，音楽ＩＮＤＥＸ６０ｂ４００，音楽用対話ルール６０ｂ８００となっている。
【００７９】
図２０は、本発明によるＴＶ番組情報ＡＳＰの構成を示すブロック図である。図１９のＡＳＰとは、コンテンツの内容が異なるだけである。コンテンツとしては、ＴＶ番組ＤＢ６０ｃ３００，番組ＩＮＤＥＸ６０ｃ４００，番組用対話ルール６０ｃ８００がある。
【００８０】
なお、本明細書で、ＴＶ番組とは、ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報を意味する。
【００８１】
図２１は、本発明による電話情報ＡＳＰの構成を示すブロック図である。
図１９のＡＳＰとは、コンテンツが異なり、電話ＤＢ６０ｄ３００，電話ＩＮＤＥＸ６０ｄ４００，電話用対話ルール６０ｄ８００を備えている。
【００８２】
図２２は、本発明による音声操作メニュー画面の一例を示す図である。音声メニューには、各情報ＡＳＰに応じて音声メニューアイコンが用意されている。ナビゲーション情報ＡＳＰに関するものには、“目的地設定。”，“目的地検索。”，“経由地設定。”，“現在地表示。”がある。
【００８３】
音楽情報ＡＳＰに関するものには、“音楽検索。”がある。番組情報ＡＳＰに関するものには、“番組検索。”、“番組予約。”がある。電話情報ＡＳＰに関すものには、“電話検索。”がある。
【００８４】
本発明では、項目を音声メニューから入力する方法と、対象物も含めてすべて音声で入力する方法も許している。例えば、目的地検索の例では、メニューを押さずに、“日立神田に目的地を設定する。”と直接音声入力してもよい。
【００８５】
図２３は、本発明による各種情報ＡＳＰのあいまい検索手段６０ａ２００の構成を示すブロック図である。他のあいまい検索手段６０ｂ２００，６０ｃ２００，６０ｄ２００の構成も、あいまい検索手段６０ａ２００と同様である。
【００８６】
図２３において、あいまい検索手段６０ａ２００は、検索エンジン６０ａ１００と、２文字ＩＮＤＥＸ生成６０ａ２２０とからなる。検索エンジン６０ａ１００および２文字ＩＮＤＥＸ生成６０ａ２２０は、ランドマークＤＢａ３００およびランドマークＩＮＤＥＸ６０ａ４００を参照しながら検索処理する。
【００８７】
ランドマークＤＢは、数百万件の膨大なデータを保有しているので、ランドマークＩＮＤＥＸは、２文字ＩＮＤＥＸ生成処理により、予め作成しておく必要がある。本発明においては、この２文字ＩＮＤＥＸ生成処理により、高速でかつあいまい検索がなされるのが特徴である。ここで、あいまい検索とは、検索語句の意味があいまいではなく、文字列の一部の誤り(一部文字列追加、一部文字列欠損、文字列順不同、一部文字列誤り)があっても、入力された語句を検索できることを意味している。
【００８８】
図２４は、本発明による各種情報ＡＳＰのあいまい検索の手順の一例を示す図である。例として、“日立神田に。”に目的地設定をする場合を示す。
【００８９】
まず、“日立神田に。”の検索キーワード６０ａ２００ｋｅｙが入力されると、２文字ごとに切出処理６０ａ２１１をする。
【００９０】
次に、２文字ごとにランドマークＩＮＤＥＸ検索６０ａ２１２をする。
【００９１】
ランドマークＩＮＤＥＸ検索６０ａ２１２からランドマークＤＢを検索し、ヒットするＤＢのレコードを抽出する。
【００９２】
抽出したレコードのうち、ヒット文字数の多いものの順にソーティングし出力処理６０ａ２１４し、検索結果としてリスト６０ａ２００ｒｅｓを出力する。
【００９３】
以上のように、２文字ごとのＩＮＤＥＸ検索するので、高速検索とあいまい検索の両方の特徴をもつ。
【００９４】
ここで、“日立神田に。”の“に。”が検索オブジェクトにあってもランドマークＤＢに該当するものがなければ、無視される。一方、“神田日立に。”と入力されても、関係するものがヒットする。
【００９５】
このため、思いついた地名やランドマークを入力できる効果がある。
【００９６】
なお、複数の検索結果を音声入力端末に出力し、どの検索対象物を選択するかを音声指示し、選択することもできる。
【００９７】
本実施形態では、図２３〜図２４に図示したように、２文字ＩＮＤＥＸ生成処理により、検索する例を示したが、３文字ＩＮＤＥＸや４文字ＩＮＤＥＸ生成でもよい。
【００９８】
特に、数字やアルファベットが多い情報をもつ場合、３文字ＩＮＤＥＸや４文字ＩＮＤＥＸ生成の方が、２文字ＩＮＤＥＸ処理よりも、不要な検索出力が少なくなるという効果がある。
【００９９】
図２５〜図２８を用いて、音声入力端末，音声ポータルサーバ５０，情報ＡＳＰ６０間の具体的な通信手順を説明する。
【０１００】
図２５は、本発明による音声入力端末と音声ポータルサーバとナビゲーション情報ＡＳＰとの間の通信手順を示す図である。ここでは、音声入力端末MobileＰＣ１０ｃ，音声ポータルサーバ５０，ナビゲーション情報ＡＳＰ６０ａ間の通信手順を示すが、他の情報ＡＳＰ間との通信手順もほぼ同様である。
【０１０１】
まず、音声入力端末MobileＰＣ１０ｃから音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末MobileＰＣ１０ｃに音声出力する。同時に、図２１の音声メニューも表示される。
【０１０２】
次に、音声入力端末MobileＰＣ１０ｃでは、音声で“日立神田に目的地を設定する。”と直接音声入力する。
【０１０３】
音声ポータルサーバ５０では、これを認識し、対応して“日立神田に目的地を設定しますか？。”と音声応答する。
【０１０４】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１０５】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末MobileＰＣ１０ｃに返すとともに、ナビゲーション情報ＡＳＰ６０ａに対し、コマンドＩＤ“Ｄ０１。”、オブジェクト“日立神田に。”のデータを送信し、検索結果を返してもらう。ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１０６】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？”と音声応答する。同時に、音声入力端末MobileＰＣ１０ｃのディスプレイには、検索結果の内容表示がされる。
【０１０７】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０は音声を認識し、対応する音声“目的地を１番に設定します。”を出力する。
【０１０８】
さらに、音声入力端末MobileＰＣ１０ｃに現在位置を要求し、現在位置情報を得て、この情報を元に、ナビゲーション情報ＡＳＰ６０ａに対して、経路探索コマンドとそのパラメータとを送信する。
【０１０９】
音声ポータルサーバ５０は、ナビゲーション情報ＡＳＰから、探索結果である経路情報および地図情報を得て、音声入力端末MobileＰＣ１０ｃに出力するとともに、音声“安全運転でどうぞ。”と音声応答する。
【０１１０】
ここで、上記通信手順で、“いいえ。”が入力されると、図示していないが、“ご用件を入力ください。”に再度戻るようになっている。
【０１１１】
複数ある検索結果を選択する場合、音声で選択する例を示したが、タッチパネルを備えているので、タッチパネルで選択してもよい。この場合、検索結果の内容とタッチパネルの座標との対応は、予め決めておかなければならない。
【０１１２】
図２５において、音声入力端末としてMobileＰＣ１０ｃを用いたが、ＰＤＡ１０ａ、MobileＴＥＬ１０ｂとナビゲーション情報ＡＳＰ間でやり取りしてもよい。この場合、人間ナビゲーションシステムになる。
すなわち、自分の音声入力端末の現在位置がわかるので、現在位置情報を表示したり、行きたいランドマークを検索したりできる。
【０１１３】
図２６は、本発明による音声入力端末と音声ポータルサーバと音楽情報ＡＳＰとの間の通信手順を示す図である。音声入力端末MobileＰＣ１０ｃが、音声ポータルサーバ５０を介して音楽情報ＡＳＰ６０ｂから音楽のコンテンツサービスを受ける通信手順である。
【０１１４】
まず、音声入力端末MobileＰＣ１０ｃから音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末MobileＰＣ１０ｃに音声出力する。同時に、図２１の音声メニューも表示される。
【０１１５】
次に、音声入力端末MobileＰＣ１０ｃでは、音声で“Mariah Careyの曲を聴きたい。”と直接音声入力する。
【０１１６】
音声ポータルサーバ５０では、その音声を認識し、対応して“Mariah Careyの曲を検索しますか？。”と音声応答がある。
【０１１７】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１１８】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末MobileＰＣ１０ｃに返すとともに、音楽情報ＡＳＰ６０ｂに対し、コマンドＩＤ“M01。”、オブジェクト“Mariah Careyの。”のデータを送信し、検索結果を返してもらう。
【０１１９】
ここでは、検索結果数(３件)と内容(ＸＸＸ，ＹＹＹ、ZZZ)を返す。
【０１２０】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が３件あります。何番にしますか？。”と音声応答する。同時に、音声入力端末MobileＰＣ１０ｃのディスプレイには、検索結果の内容表示がされている。
【０１２１】
次に、音声で“３番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“音楽を３番に設定します。”と出力する。同時に、３番の音楽のダウンロードを音楽情報ＡＳＰに指示する。
【０１２２】
これにより、“お楽しみください。”の音声応答と対応した音楽コンテンツが音声入力端末MobileＰＣ１０ｃにダウンロードされる。
【０１２３】
もし、検索結果が１件しか無い時のとき、ＯＫかどうかの音声応答を待って、ダウンロードが開始する。
【０１２４】
図２７は、本発明による音声入力端末と音声ポータルサーバとＴＶ番組情報ＡＳＰとの間の通信手順を示す図である。音声入力端末ＴＶ３０ｂ、ＰＣ３０ｃが、音声ポータルサーバ５０を介して番組情報ＡＳＰ６０ｃからＴＶ番組のコンテンツサービスを受ける通信手順である。
【０１２５】
まず、音声入力端末から音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末に音声出力する。同時に、図２１の音声メニューも表示される。
【０１２６】
次に、音声入力端末では、音声で“天気予報の番組を見たい。”と直接音声入力する。
【０１２７】
音声ポータルサーバ５０では、これを認識し、対応して“天気予報の番組を検索しますか？。”と音声応答がある。
【０１２８】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１２９】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”という音声応答を音声入力端末に返すとともに、番組情報ＡＳＰ６０ｃに対し、コマンドＩＤ“T01”、オブジェクト“天気予報の。”のデータを送信し、検索結果を返してもらう。
【０１３０】
ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１３１】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？”と音声応答する。同時に、音声入力端末のディスプレイには、検索結果の内容表示がされる。
【０１３２】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“番組を１番に設定します。”を出力する。
【０１３３】
その結果、ＴＶ番組に対応したチャンネルが設定されて、天気予報サービスを見ることができる。
【０１３４】
もし、複数の番組がなければ、ＯＫかどうかの音声応答を待ってチャンネルを設定する。
【０１３５】
ここで、もし、天気予報サービスが放送されていないときは、チャンネルを予約できる。この場合は、音声ポータルサーバ５０から、予約するかどうかの案内があり、それに答えると、予約が終了する。
【０１３６】
なお、毎週見ているＴＶ番組については、毎週予約などもできる。
【０１３７】
図２８は、本発明による音声入力端末と音声ポータルサーバと電話情報ＡＳＰとの間の通信手順を示す図である。音声入力端末家庭電話３０ａ，MobileＴＥＬ１０ｂが、音声ポータルサーバ５０を介して、電話情報ＡＳＰ６０ｄから電話情報のコンテンツサービスを受ける通信手順である。
【０１３８】
まず、音声入力端末から音声ポータルサーバ５０に接続要求が出されると、音声ポータルサーバ５０から、音声により“ご用件を入力ください。”と音声入力端末に音声出力する。同時に、図２１の音声メニューも表示される。
【０１３９】
次に、音声入力端末では、音声で“日立太郎さんに電話をしたい。”と直接音声入力する。
【０１４０】
音声ポータルサーバ５０では、これを認識し、対応して“日立太郎さん電話をかけますか？。”と音声応答する。
【０１４１】
ここで、“はい。”または“いいえ。”のコマンド用の音声を入力する。
【０１４２】
ここでは、“はい。”が入力されると、音声ポータルサーバ５０は、“検索中です。”の音声応答を音声入力端末に返すとともに、電話情報ＡＳＰ６０ｄに対し、コマンドＩＤ“P01。”、オブジェクト“日立太郎さんに。”のデータを送信し、検索結果を返してもらう。
【０１４３】
ここでは、検索結果数(２件)と内容(ＸＸＸ，ＹＹＹ)を返す。
【０１４４】
そこで、音声ポータルサーバ５０は、この検索結果から“結果が２件あります。何番にしますか？。”と音声応答する。同時に、音声入力端末のディスプレイには、検索結果の内容表示がされている。
【０１４５】
次に、音声で“１番。”と音声指示すると、音声ポータルサーバ５０はこれを認識し、対応する音声“電話を１番にかけます。”と出力する。
【０１４６】
具体的には、日立太郎さんの電話に電話をかけて、相手がでたら対話できる。もし、検索結果が一人だけならば、ＯＫかどうかの音声応答を待って電話をかける。
【０１４７】
【発明の効果】
本発明によれば、音声入力端末から入力された音声を音声ポータルサーバで認識してコマンドとオブジェクトとのテキストに分離し、分離されたテキストに基づき、アプリケーションサービスプロバイダにある情報をあいまい検索し、オブジェクトテキストに一部認識誤りがあっても、意図する情報を音声入力端末に提供できる。
【０１４８】
また、音声ポータルサーバの音声認識エンジンを長い文章に適した連続音声認識エンジンとコマンドのような短い文章に適した単語音声認識エンジンの２つで構成し、総合的に評価しているため、音声対話の認識性能が向上する。
【０１４９】
さらに、アプリケーションサービスプロバイダ(ＡＳＰ)として、ナビゲーション情報ＡＳＰ，音楽情報ＡＳＰ，番組情報ＡＳＰ，電話情報ＡＳＰを設けたので、ＰＤＡ，MobileＴＥＬ，MobileCarＰＣなどの移動する音声入力端末や、家庭電話，ＴＶ，ＰＣなどの家庭の音声入力端末にも、それぞれの必要に応じて、最適な情報をサービスできる。
【図面の簡単な説明】
【図１】本発明による音声入力システムの実施形態の全体構成を示すブロック図である。
【図２】本発明による音声入力端末であるＰＤＡの実施形態の構成を示すブロック図である。
【図３】本発明による音声入力端末であるMobileＴＥＬの構成を示すブロック図である。
【図４】本発明による音声入力端末であるMobileCarＰＣの構成を示すブロック図である。
【図５】本発明による音声入力端末である家庭電話の構成を示すブロック図である。
【図６】本発明による音声入力端末であるＴＶの構成を示すブロック図である。
【図７】本発明による音声入力端末であるＰＣの構成を示すブロック図である。
【図８】本発明による音声ポータルサーバの実施形態の構成を示すブロック図である。
【図９】本発明による音声ポータルサーバの音声認識手段の構成を示すブロック図である。
【図１０】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１１】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１２】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１３】本発明による音声ポータルサーバの音声認識手段の動作を説明する図である。
【図１４】本発明による音声ポータルサーバのコマンド変換手段の構成を示すブロック図である。
【図１５】本発明による音声コマンドテキスト辞書の例を示す図である。
【図１６】本発明による音声ポータルサーバのコマンド変換手段の動作を説明する図である。
【図１７】本発明による音声ポータルサーバの対話制御手段の構成を示すブロック図である。
【図１８】本発明によるナビゲーション情報ＡＳＰの構成を示すブロック図である。
【図１９】本発明による音楽情報ＡＳＰの構成を示すブロック図である。
【図２０】本発明によるＴＶ番組情報ＡＳＰの構成を示すブロック図である。
【図２１】本発明による電話情報ＡＳＰの構成を示すブロック図である。
【図２２】本発明による音声操作メニュー画面の一例を示す図である。
【図２３】本発明による各種情報ＡＳＰのあいまい検索手段の構成を示すブロック図である。
【図２４】本発明による各種情報ＡＳＰのあいまい検索の手順の一例を示す図である。
【図２５】本発明による音声入力端末と音声ポータルサーバとナビゲーション情報ＡＳＰとの間の通信手順を示す図である。
【図２６】本発明による音声入力端末と音声ポータルサーバと音楽情報ＡＳＰとの間の通信手順を示す図である。
【図２７】本発明による音声入力端末と音声ポータルサーバとＴＶ番組情報ＡＳＰとの間の通信手順を示す図である。
【図２８】本発明による音声入力端末と音声ポータルサーバと電話情報ＡＳＰとの間の通信手順を示す図である。
【符号の説明】
１０ 携帯端末
１０ａ ＰＤＡ
１０ｂ MobileＴＥＬ
１０ｃ MobileCarＰＣ
２０ 無線基地局
３０ 家庭端末
３０ａ 家庭電話HomeＴＥＬ
３０ｂ ＴＶ
３０ｃ ＰＣ
４０ インターネット網
５０ 音声ポータルサーバ
５０１ 通信手段
５０２ 処理装置
５０３ 音声認識手段
５０３ａ 連続音声認識
５０３ｂ 単語音声認識
５０３ｃ 認識総合評価
５０４ 認識辞書
５０４ａ 連続音声認識辞書
５０４ｂ 単語音声認識辞書
５０５ コマンド変換手段
５０５ａ コマンド文字列検索
５０５ｂ オブジェクト抽出
５０６ コマンドテキスト辞書
５０７ 対話制御手段
５０７ａ 対話処理手段
５０７ｂ 基本対話ルール
５０７ｃ 端末データ制御
５０７ｄ ＡＳＰ制御手段
５０７ｅ 音声合成制御
５０８ 音声合成手段
５０９ Ｗｅｂブラウザ
６０ 情報ＡＳＰ
６０ａ ナビゲーション情報ＡＳＰ
６０ｂ 音楽情報ＡＳＰ
６０ｃ 番組情報ＡＳＰ
６０ｄ 電話情報ＡＳＰ
Claims (10)
- 音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、前記音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとに基づいて各種情報を提供するアプリケーションサービスプロバイダにアクセスしてサービスを受けこのサービスを前記音声入力端末に出力する対話制御手段とを備えた音声ポータルサーバと、前記音声ポータルサーバから受信したコマンドテキストおよびオブジェクトテキストに基づいて情報を検索する情報検索手段を備え検索結果を前記音声ポータルサーバにサービスするアプリケーションサービスプロバイダとからなる音声入力システム。
- 音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、前記音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなり、
前記アプリケーションサービスプロバイダの情報検索手段が、入力されたオブジェクトテキストをｎ文字ごとに切り出し予め作成してあるｎ文字ＩＮＤＥＸに基づいて情報検索する手段であることを特徴とする音声入力システム。 - 請求項１または２に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、地図情報をサービスするナビゲーション情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。 - 請求項１ないし３のいずれか一項に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、音楽情報をサービスする音楽情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。 - 請求項１ないし４のいずれか一項に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、ＴＶ番組，ＣＳ番組，ＣＡＴＶ番組の少なくとも１つの情報をサービスする番組情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。 - 請求項１ないし５のいずれか一項に記載の音声入力システムにおいて、
前記アプリケーションサービスプロバイダが、電話情報をサービスする電話情報アプリケーションサービスプロバイダであることを特徴とする音声入力システム。 - 音声入出力手段とＷｅｂブラウザと外部システムへのアクセス状況および検索結果を表示する表示手段とを備えた音声入力端末と、前記音声入力端末から入力された連続音声データを文章テキストに変換し、変換した文章テキストをコマンドテキスト辞書と照合して、コマンドテキストとオブジェクトテキストに分離し、アプリケーションサービスプロバイダに送信する音声ポータルサーバと、対象物テキストを検索対象物辞書から生成したｎ文字インデックス辞書によりｎ文字インデックスを検索し一致度の高い語句を検索し、送られてきたコマンドテキストに応じたサービスを提供するアプリケーションサービスプロバイダとからなる音声入力システムにおいて、
前記音声ポータルサーバは、前記音声入力端末からの音声を取り込みテキストとして認識する音声認識手段と、認識されたテキストをコマンドテキスト辞書と照合しコマンドテキストとオブジェクトテキストとに分離するコマンド変換手段と、分離されたコマンドテキストとオブジェクトテキストとを前記アプリケーションサービスプロバイダに送り前記アプリケーションサービスプロバイダで検索された情報を音声入力端末に出力する対話制御手段とを備えたことを特徴とする音声ポータルサーバ。 - 請求項７に記載の音声ポータルサーバにおいて、
前記音声認識手段が、連続音声認識手段と、単語音声認識手段と、入力された音声の特徴量をしきい値として前記２つの認識手段の認識結果の一方を選択して出力する認識総合評価手段とを備えたことを特徴とする音声ポータルサーバ。 - 請求項８に記載の音声ポータルサーバにおいて、
前記音声の特徴量が、発話時間であることを特徴とする音声ポータルサーバ。 - 請求項８に記載の音声ポータルサーバにおいて、
前記音声の特徴量が、認識文字列長であることを特徴とする音声ポータルサーバ。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001306787A JP3997459B2 (ja) | 2001-10-02 | 2001-10-02 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
| EP02003448A EP1300828A3 (en) | 2001-10-02 | 2002-02-14 | Speech input system, portal server, and terminal |
| US10/083,636 US20030074199A1 (en) | 2001-10-02 | 2002-02-27 | Speech input system, speech portal server, and speech input terminal |
| US10/192,317 US6944593B2 (en) | 2001-10-02 | 2002-07-11 | Speech input system, speech portal server, and speech input terminal |
| US10/823,552 US7058579B2 (en) | 2001-10-02 | 2004-04-14 | Speech input system, speech portal server, and speech input terminal |
| US11/060,390 US7299186B2 (en) | 2001-10-02 | 2005-02-17 | Speech input system, speech portal server, and speech input terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001306787A JP3997459B2 (ja) | 2001-10-02 | 2001-10-02 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003115929A JP2003115929A (ja) | 2003-04-18 |
| JP3997459B2 true JP3997459B2 (ja) | 2007-10-24 |
Family
ID=19126369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001306787A Expired - Fee Related JP3997459B2 (ja) | 2001-10-02 | 2001-10-02 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
Country Status (3)
| Country | Link |
|---|---|
| US (4) | US20030074199A1 (ja) |
| EP (1) | EP1300828A3 (ja) |
| JP (1) | JP3997459B2 (ja) |
Families Citing this family (244)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US7024209B1 (en) * | 2000-12-20 | 2006-04-04 | Cisco Technology, Inc. | Unified messaging system configured for management of short message service-type messages |
| JP3722359B2 (ja) * | 2001-06-29 | 2005-11-30 | Ｅｓｍｅｒｔｅｃエンジニアリングサービス株式会社 | 文字入力システム及び通信端末 |
| JP3997459B2 (ja) * | 2001-10-02 | 2007-10-24 | 株式会社日立製作所 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
| US7398209B2 (en) | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| GB2389762A (en) * | 2002-06-13 | 2003-12-17 | Seiko Epson Corp | A semiconductor chip which includes a text to speech (TTS) system, for a mobile telephone or other electronic product |
| US7693720B2 (en) * | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
| US7158779B2 (en) * | 2003-11-11 | 2007-01-02 | Microsoft Corporation | Sequential multimodal input |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
| US8954325B1 (en) * | 2004-03-22 | 2015-02-10 | Rockstar Consortium Us Lp | Speech recognition in automated information services systems |
| WO2008028674A2 (en) | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US9008447B2 (en) | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US8081849B2 (en) | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| FR2871978B1 (fr) * | 2004-06-16 | 2006-09-22 | Alcatel Sa | Procede de traitement de signaux sonores pour un terminal de communication et terminal de communication mettant en oeuvre ce procede |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| US7580837B2 (en) | 2004-08-12 | 2009-08-25 | At&T Intellectual Property I, L.P. | System and method for targeted tuning module of a speech recognition system |
| US7242751B2 (en) | 2004-12-06 | 2007-07-10 | Sbc Knowledge Ventures, L.P. | System and method for speech recognition-enabled automatic call routing |
| US7751551B2 (en) | 2005-01-10 | 2010-07-06 | At&T Intellectual Property I, L.P. | System and method for speech-enabled call routing |
| US7627096B2 (en) * | 2005-01-14 | 2009-12-01 | At&T Intellectual Property I, L.P. | System and method for independently recognizing and selecting actions and objects in a speech recognition system |
| US7529677B1 (en) | 2005-01-21 | 2009-05-05 | Itt Manufacturing Enterprises, Inc. | Methods and apparatus for remotely processing locally generated commands to control a local device |
| US8225232B2 (en) * | 2005-02-28 | 2012-07-17 | Microsoft Corporation | Dynamic configuration of unified messaging state changes |
| US7657020B2 (en) | 2005-06-03 | 2010-02-02 | At&T Intellectual Property I, Lp | Call routing system and method of using the same |
| US7640160B2 (en) | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| WO2007061466A2 (en) * | 2005-08-09 | 2007-05-31 | Mobilevoicecontrol, Inc. | A voice controlled wireless communication device system |
| US7620549B2 (en) | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
| US7949529B2 (en) | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US8635073B2 (en) * | 2005-09-14 | 2014-01-21 | At&T Intellectual Property I, L.P. | Wireless multimodal voice browser for wireline-based IPTV services |
| WO2007070842A2 (en) * | 2005-12-15 | 2007-06-21 | Josef Berger | System and methods for initiating, maintaining, and delivering personalized information by communication server |
| US7620553B2 (en) * | 2005-12-20 | 2009-11-17 | Storz Endoskop Produktions Gmbh | Simultaneous support of isolated and connected phrase command recognition in automatic speech recognition systems |
| US7996228B2 (en) * | 2005-12-22 | 2011-08-09 | Microsoft Corporation | Voice initiated network operations |
| US7634263B2 (en) * | 2006-01-30 | 2009-12-15 | Apple Inc. | Remote control of electronic devices |
| JP2007226649A (ja) * | 2006-02-24 | 2007-09-06 | Kenwood Corp | 検索装置及びプログラム |
| US7698140B2 (en) * | 2006-03-06 | 2010-04-13 | Foneweb, Inc. | Message transcription, voice query and query delivery system |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8073681B2 (en) | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
| KR100837542B1 (ko) * | 2006-10-27 | 2008-06-12 | 주식회사 케이티 | 정보 통신망을 이용한 음악 콘텐츠 제공 방법 및 그 시스템 |
| US7818176B2 (en) | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
| WO2008114708A1 (ja) * | 2007-03-14 | 2008-09-25 | Nec Corporation | 音声認識システム、音声認識方法、および音声認識処理プログラム |
| US8650030B2 (en) | 2007-04-02 | 2014-02-11 | Google Inc. | Location based responses to telephone requests |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8032383B1 (en) * | 2007-05-04 | 2011-10-04 | Foneweb, Inc. | Speech controlled services and devices using internet |
| US8638363B2 (en) | 2009-02-18 | 2014-01-28 | Google Inc. | Automatically capturing information, such as capturing information using a document-aware device |
| US8165886B1 (en) * | 2007-10-04 | 2012-04-24 | Great Northern Research LLC | Speech interface system and method for control and interaction with applications on a computing system |
| US8595642B1 (en) | 2007-10-04 | 2013-11-26 | Great Northern Research, LLC | Multiple shell multi faceted graphical user interface |
| US8140335B2 (en) | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US20090234655A1 (en) * | 2008-03-13 | 2009-09-17 | Jason Kwon | Mobile electronic device with active speech recognition |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| JP5451982B2 (ja) * | 2008-04-23 | 2014-03-26 | ニュアンス コミュニケーションズ，インコーポレイテッド | 支援装置、プログラムおよび支援方法 |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US9305548B2 (en) | 2008-05-27 | 2016-04-05 | Voicebox Technologies Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US8589161B2 (en) | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| JP2010048953A (ja) * | 2008-08-20 | 2010-03-04 | Toshiba Corp | 対話文生成装置 |
| JP5049934B2 (ja) | 2008-09-22 | 2012-10-17 | 株式会社東芝 | 対話文生成装置及び方法 |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| US8340974B2 (en) * | 2008-12-30 | 2012-12-25 | Motorola Mobility Llc | Device, system and method for providing targeted advertisements and content based on user speech data |
| US8326637B2 (en) | 2009-02-20 | 2012-12-04 | Voicebox Technologies, Inc. | System and method for processing multi-modal device interactions in a natural language voice services environment |
| CN102349087B (zh) | 2009-03-12 | 2015-05-06 | 谷歌公司 | 自动提供与捕获的信息例如实时捕获的信息关联的内容 |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US20110099507A1 (en) | 2009-10-28 | 2011-04-28 | Google Inc. | Displaying a collection of interactive elements that trigger actions directed to an item |
| US20110106783A1 (en) * | 2009-11-03 | 2011-05-05 | Kalbhavi Srinivas | Mobile search with a landmark |
| US9502025B2 (en) | 2009-11-10 | 2016-11-22 | Voicebox Technologies Corporation | System and method for providing a natural language content dedication service |
| US9171541B2 (en) | 2009-11-10 | 2015-10-27 | Voicebox Technologies Corporation | System and method for hybrid processing in a natural language voice services environment |
| US8379801B2 (en) | 2009-11-24 | 2013-02-19 | Sorenson Communications, Inc. | Methods and systems related to text caption error correction |
| US20110131040A1 (en) * | 2009-12-01 | 2011-06-02 | Honda Motor Co., Ltd | Multi-mode speech recognition |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US8626511B2 (en) * | 2010-01-22 | 2014-01-07 | Google Inc. | Multi-dimensional disambiguation of voice commands |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US8521513B2 (en) | 2010-03-12 | 2013-08-27 | Microsoft Corporation | Localization for interactive voice response systems |
| US8738377B2 (en) * | 2010-06-07 | 2014-05-27 | Google Inc. | Predicting and learning carrier phrases for speech input |
| EP2586026B1 (en) | 2010-06-24 | 2016-11-16 | Honda Motor Co., Ltd. | Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system |
| US9015043B2 (en) * | 2010-10-01 | 2015-04-21 | Google Inc. | Choosing recognized text from a background environment |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| KR101776673B1 (ko) * | 2011-01-11 | 2017-09-11 | 삼성전자주식회사 | 자연어 처리용 문법 자동 생성 장치 및 방법 |
| US10382509B2 (en) | 2011-01-28 | 2019-08-13 | Amazon Technologies, Inc. | Audio-based application architecture |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US9368107B2 (en) * | 2011-04-20 | 2016-06-14 | Nuance Communications, Inc. | Permitting automated speech command discovery via manual event to command mapping |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| KR20130016644A (ko) * | 2011-08-08 | 2013-02-18 | 삼성전자주식회사 | 음성인식장치, 음성인식서버, 음성인식시스템 및 음성인식방법 |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US20130069962A1 (en) * | 2011-09-15 | 2013-03-21 | Microsoft Corporation | Active Lock Wallpapers |
| JP5658641B2 (ja) * | 2011-09-15 | 2015-01-28 | 株式会社Ｎｔｔドコモ | 端末装置、音声認識プログラム、音声認識方法および音声認識システム |
| KR101294553B1 (ko) * | 2011-10-13 | 2013-08-07 | 기아자동차주식회사 | 음원정보 관리 서비스 시스템 |
| JP5887162B2 (ja) * | 2012-02-23 | 2016-03-16 | 株式会社Ｎｔｔドコモ | 通信端末、制御方法及びプログラム |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9317605B1 (en) | 2012-03-21 | 2016-04-19 | Google Inc. | Presenting forked auto-completions |
| KR20130125067A (ko) * | 2012-05-08 | 2013-11-18 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US20140013249A1 (en) * | 2012-07-06 | 2014-01-09 | Shahram Moeinifar | Conversation management systems and methods |
| US8799959B2 (en) | 2012-08-16 | 2014-08-05 | Hoi L. Young | User interface for entertainment systems |
| US9026448B2 (en) | 2012-08-16 | 2015-05-05 | Nuance Communications, Inc. | User interface for entertainment systems |
| US9106957B2 (en) * | 2012-08-16 | 2015-08-11 | Nuance Communications, Inc. | Method and apparatus for searching data sources for entertainment systems |
| US9497515B2 (en) | 2012-08-16 | 2016-11-15 | Nuance Communications, Inc. | User interface for entertainment systems |
| US9031848B2 (en) | 2012-08-16 | 2015-05-12 | Nuance Communications, Inc. | User interface for searching a bundled service content data source |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| KR20140093303A (ko) * | 2013-01-07 | 2014-07-28 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
| KR20140089863A (ko) | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법 |
| KR20140089861A (ko) | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
| KR20140089862A (ko) * | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
| BR112015018905B1 (pt) | 2013-02-07 | 2022-02-22 | Apple Inc | Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9123345B2 (en) * | 2013-03-14 | 2015-09-01 | Honda Motor Co., Ltd. | Voice interface systems and methods |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| USRE48569E1 (en) | 2013-04-19 | 2021-05-25 | Panasonic Intellectual Property Corporation Of America | Control method for household electrical appliance, household electrical appliance control system, and gateway |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| HK1223708A1 (zh) | 2013-06-09 | 2017-08-04 | Apple Inc. | 用於实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面 |
| KR101809808B1 (ko) | 2013-06-13 | 2017-12-15 | 애플 인크. | 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법 |
| US9646606B2 (en) | 2013-07-03 | 2017-05-09 | Google Inc. | Speech recognition using domain knowledge |
| CN103414934B (zh) * | 2013-07-16 | 2018-03-30 | 深圳Tcl新技术有限公司 | 终端显示电视节目信息的方法和系统 |
| KR101749009B1 (ko) | 2013-08-06 | 2017-06-19 | 애플 인크. | 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화 |
| JP6312053B2 (ja) * | 2013-09-06 | 2018-04-18 | 株式会社ユピテル | システム及びプログラム |
| US20150081495A1 (en) * | 2013-09-19 | 2015-03-19 | Barclays Bank Plc | System and Method for Account Succession |
| US9245527B2 (en) | 2013-10-11 | 2016-01-26 | Apple Inc. | Speech recognition wake-up of a handheld portable electronic device |
| JP6315942B2 (ja) * | 2013-11-01 | 2018-04-25 | 株式会社ユピテル | システム及びプログラム |
| JP6670364B2 (ja) * | 2014-05-13 | 2020-03-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 音声認識機能を用いた情報提供方法および機器の制御方法 |
| JP6440513B2 (ja) * | 2014-05-13 | 2018-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 音声認識機能を用いた情報提供方法および機器の制御方法 |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| CN107003996A (zh) | 2014-09-16 | 2017-08-01 | 声钰科技 | 语音商务 |
| US9898459B2 (en) | 2014-09-16 | 2018-02-20 | Voicebox Technologies Corporation | Integration of domain information into state transitions of a finite state transducer for natural language processing |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9747896B2 (en) | 2014-10-15 | 2017-08-29 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
| US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
| US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| US10331784B2 (en) | 2016-07-29 | 2019-06-25 | Voicebox Technologies Corporation | System and method of disambiguating natural language processing requests |
| CN106331874A (zh) * | 2016-08-31 | 2017-01-11 | 浙江创佳数字技术有限公司 | 机顶盒的控制方法及设备 |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| WO2018061824A1 (ja) * | 2016-09-29 | 2018-04-05 | 日本電気株式会社 | 情報処理装置、情報処理方法およびプログラム記録媒体 |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| JP2017182075A (ja) * | 2017-05-01 | 2017-10-05 | 株式会社ニコン | 情報処理装置 |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| KR102045539B1 (ko) * | 2017-05-12 | 2019-11-15 | 삼성전자주식회사 | 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법 |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US11423879B2 (en) * | 2017-07-18 | 2022-08-23 | Disney Enterprises, Inc. | Verbal cues for high-speed control of a voice-enabled device |
| KR102374910B1 (ko) * | 2017-08-22 | 2022-03-16 | 삼성전자주식회사 | 음성 데이터 처리 방법 및 이를 지원하는 전자 장치 |
| KR102051480B1 (ko) * | 2018-04-26 | 2019-12-03 | 삼성전자주식회사 | 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법 |
| WO2021060575A1 (ko) * | 2019-09-24 | 2021-04-01 | 엘지전자 주식회사 | 인공 지능 서버 및 그의 동작 방법 |
| JP2020008876A (ja) * | 2019-09-24 | 2020-01-16 | 株式会社ユピテル | システム及びプログラム |
| KR102089593B1 (ko) * | 2019-11-11 | 2020-03-16 | 삼성전자주식회사 | 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법 |
| KR102124396B1 (ko) * | 2020-03-10 | 2020-06-18 | 삼성전자주식회사 | 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2955297B2 (ja) * | 1988-05-27 | 1999-10-04 | 株式会社東芝 | 音声認識システム |
| JPH06133039A (ja) | 1992-10-16 | 1994-05-13 | Oki Electric Ind Co Ltd | 気象情報自動案内装置 |
| JPH06212478A (ja) | 1993-01-14 | 1994-08-02 | Olympus Optical Co Ltd | 電鋳型の製造方法 |
| US5752232A (en) * | 1994-11-14 | 1998-05-12 | Lucent Technologies Inc. | Voice activated device and method for providing access to remotely retrieved data |
| JP3526101B2 (ja) | 1995-03-14 | 2004-05-10 | 株式会社リコー | 音声認識装置 |
| JP3284832B2 (ja) * | 1995-06-22 | 2002-05-20 | セイコーエプソン株式会社 | 音声認識対話処理方法および音声認識対話装置 |
| US5799279A (en) * | 1995-11-13 | 1998-08-25 | Dragon Systems, Inc. | Continuous speech recognition of text and commands |
| TW490643B (en) * | 1996-05-21 | 2002-06-11 | Hitachi Ltd | Estimated recognition device for input character string |
| US5915001A (en) * | 1996-11-14 | 1999-06-22 | Vois Corporation | System and method for providing and using universally accessible voice and speech data files |
| US5960399A (en) * | 1996-12-24 | 1999-09-28 | Gte Internetworking Incorporated | Client/server speech processor/recognizer |
| US6856960B1 (en) * | 1997-04-14 | 2005-02-15 | At & T Corp. | System and method for providing remote automatic speech recognition and text-to-speech services via a packet network |
| US6044347A (en) * | 1997-08-05 | 2000-03-28 | Lucent Technologies Inc. | Methods and apparatus object-oriented rule-based dialogue management |
| JP3088364B2 (ja) | 1997-11-05 | 2000-09-18 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 音声言語理解装置及び音声言語理解システム |
| US6144989A (en) * | 1998-06-15 | 2000-11-07 | Dejima, Inc. | Adaptive agent-oriented software architecture |
| JP2000057490A (ja) | 1998-08-06 | 2000-02-25 | Fujitsu Ten Ltd | ナビゲーション装置 |
| US7137126B1 (en) * | 1998-10-02 | 2006-11-14 | International Business Machines Corporation | Conversational computing via conversational virtual machine |
| US6587822B2 (en) | 1998-10-06 | 2003-07-01 | Lucent Technologies Inc. | Web-based platform for interactive voice response (IVR) |
| JP2000224338A (ja) | 1999-01-28 | 2000-08-11 | Alpine Electronics Inc | 車載用通信装置 |
| JP2001034292A (ja) | 1999-07-26 | 2001-02-09 | Denso Corp | 単語列認識装置 |
| JP2000259183A (ja) | 1999-03-10 | 2000-09-22 | Sony Corp | 情報提供システム、クライアント、情報提供サーバ及び情報提供方法 |
| US6338082B1 (en) * | 1999-03-22 | 2002-01-08 | Eric Schneider | Method, product, and apparatus for requesting a network resource |
| US6327566B1 (en) * | 1999-06-16 | 2001-12-04 | International Business Machines Corporation | Method and apparatus for correcting misinterpreted voice commands in a speech recognition system |
| US6401068B1 (en) * | 1999-06-17 | 2002-06-04 | Navigation Technologies Corp. | Method and system using voice commands for collecting data for a geographic database |
| US6601026B2 (en) * | 1999-09-17 | 2003-07-29 | Discern Communications, Inc. | Information retrieval by natural language querying |
| US6356868B1 (en) * | 1999-10-25 | 2002-03-12 | Comverse Network Systems, Inc. | Voiceprint identification system |
| US6434529B1 (en) * | 2000-02-16 | 2002-08-13 | Sun Microsystems, Inc. | System and method for referencing object instances and invoking methods on those object instances from within a speech recognition grammar |
| US6473734B1 (en) * | 2000-03-27 | 2002-10-29 | Motorola, Inc. | Methodology for the use of verbal proxies for dynamic vocabulary additions in speech interfaces |
| US6922670B2 (en) * | 2000-10-24 | 2005-07-26 | Sanyo Electric Co., Ltd. | User support apparatus and system using agents |
| JP3997459B2 (ja) * | 2001-10-02 | 2007-10-24 | 株式会社日立製作所 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
-
2001
- 2001-10-02 JP JP2001306787A patent/JP3997459B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-14 EP EP02003448A patent/EP1300828A3/en not_active Withdrawn
- 2002-02-27 US US10/083,636 patent/US20030074199A1/en not_active Abandoned
- 2002-07-11 US US10/192,317 patent/US6944593B2/en not_active Expired - Lifetime
-
2004
- 2004-04-14 US US10/823,552 patent/US7058579B2/en not_active Expired - Lifetime
-
2005
- 2005-02-17 US US11/060,390 patent/US7299186B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1300828A2 (en) | 2003-04-09 |
| US7299186B2 (en) | 2007-11-20 |
| US20030074199A1 (en) | 2003-04-17 |
| US20030074200A1 (en) | 2003-04-17 |
| US7058579B2 (en) | 2006-06-06 |
| US6944593B2 (en) | 2005-09-13 |
| US20050149332A1 (en) | 2005-07-07 |
| US20040199394A1 (en) | 2004-10-07 |
| JP2003115929A (ja) | 2003-04-18 |
| EP1300828A3 (en) | 2006-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3997459B2 (ja) | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 | |
| US8949130B2 (en) | Internal and external speech recognition use with a mobile communication facility | |
| US10056077B2 (en) | Using speech recognition results based on an unstructured language model with a music system | |
| US8880405B2 (en) | Application text entry in a mobile environment using a speech processing facility | |
| US8838457B2 (en) | Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility | |
| US8886540B2 (en) | Using speech recognition results based on an unstructured language model in a mobile communication facility application | |
| US20090030687A1 (en) | Adapting an unstructured language model speech recognition system based on usage | |
| US20080221880A1 (en) | Mobile music environment speech processing facility | |
| US8032383B1 (en) | Speech controlled services and devices using internet | |
| US20090030685A1 (en) | Using speech recognition results based on an unstructured language model with a navigation system | |
| US20090030691A1 (en) | Using an unstructured language model associated with an application of a mobile communication facility | |
| US20090030697A1 (en) | Using contextual information for delivering results generated from a speech recognition facility using an unstructured language model | |
| US20090030688A1 (en) | Tagging speech recognition results based on an unstructured language model for use in a mobile communication facility application | |
| KR20080031354A (ko) | 비표준화된 위치기반의 텍스트 입력 | |
| WO2006085565A1 (ja) | 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体 | |
| JP2014106927A (ja) | 情報処理システム | |
| JP2010026686A (ja) | 統合的インタフェースを有する対話型コミュニケーション端末及びそれを用いたコミュニケーションシステム | |
| JP2002123283A (ja) | 音声認識操作装置 | |
| EP1376418B1 (en) | Service mediating apparatus | |
| WO2003102816A1 (en) | Information providing system | |
| JP2002150039A (ja) | サービス仲介装置 | |
| JP2003223187A (ja) | 音声対話システムを動作させる方法 | |
| JP2001075968A (ja) | 情報検索方法及びそれを記録した記録媒体 | |
| JP2005331608A (ja) | 情報処理装置および情報処理方法 | |
| WO2009020272A1 (en) | Method and apparatus for distributed speech recognition using phonemic symbol |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040819 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070725 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3997459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |