[go: up one dir, main page]

JP6786001B1 - Information output device, information output system, information output method, program, server device and data output method - Google Patents

Information output device, information output system, information output method, program, server device and data output method Download PDF

Info

Publication number
JP6786001B1
JP6786001B1 JP2020070440A JP2020070440A JP6786001B1 JP 6786001 B1 JP6786001 B1 JP 6786001B1 JP 2020070440 A JP2020070440 A JP 2020070440A JP 2020070440 A JP2020070440 A JP 2020070440A JP 6786001 B1 JP6786001 B1 JP 6786001B1
Authority
JP
Japan
Prior art keywords
data
output
voice
information
access key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020070440A
Other languages
Japanese (ja)
Other versions
JP2021168013A (en
Inventor
真晴 阿部
真晴 阿部
裕樹 西山
裕樹 西山
悠 春日
悠 春日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Engineering Co Ltd
Nippon Steel Plant Designing Corp
Original Assignee
Nippon Steel Engineering Co Ltd
Nippon Steel Plant Designing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Engineering Co Ltd, Nippon Steel Plant Designing Corp filed Critical Nippon Steel Engineering Co Ltd
Priority to JP2020070440A priority Critical patent/JP6786001B1/en
Priority to JP2020149998A priority patent/JP6786005B1/en
Application granted granted Critical
Publication of JP6786001B1 publication Critical patent/JP6786001B1/en
Priority to RU2021108323A priority patent/RU2764215C1/en
Publication of JP2021168013A publication Critical patent/JP2021168013A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】音声入力に従った情報出力の利便性と、データ保護との両立に有効な装置及びシステムを提供する。【解決手段】情報出力装置100は、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバ200に出力する音声データ出力部111と、入力音声データに対応するアクセスキーを音声認識サーバ200から取得して情報管理サーバ300に出力するアクセスキー出力部112と、アクセスキーに対応する出力用データセットを情報管理サーバ300から取得するデータ取得部113と、出力用データセットに基づく情報をユーザインタフェースに出力する情報出力部114と、を備える。【選択図】図1PROBLEM TO BE SOLVED: To provide an apparatus and a system effective for achieving both convenience of information output according to voice input and data protection. An information output device 100 has a voice data output unit 111 that outputs input voice data corresponding to voice input to a user interface to a voice recognition server 200, and an access key corresponding to the input voice data. The access key output unit 112 that acquires from the information management server 300 and outputs the data to the information management server 300, the data acquisition unit 113 that acquires the output data set corresponding to the access key from the information management server 300, and the user obtains information based on the output data set. It includes an information output unit 114 that outputs data to the interface. [Selection diagram] Fig. 1

Description

本開示は、情報出力装置、情報出力システム、情報出力方法、プログラム、サーバ装置及びデータ出力方法に関する。 The present disclosure relates to an information output device, an information output system, an information output method, a program, a server device, and a data output method.

特許文献1には、第1の音声コマンドを受信することと、第1の音声コマンドを受信することに応答して第1のデバイスのスピーカに聴覚コンテンツを出力させることと、第2の音声コマンドを受信することと、第2の音声コマンドを受信することに応答して第2のデバイスに視覚コンテンツを出力させることと、を実行するように構成された1つ以上のコンピューティングデバイスが開示されている。 Patent Document 1 describes receiving a first voice command, causing the speaker of the first device to output auditory content in response to receiving the first voice command, and providing a second voice command. One or more computing devices configured to perform, and to have a second device output visual content in response to receiving a second voice command, are disclosed. ing.

特表2016−519805号公報Special Table 2016-51805

本開示は、音声入力に従った情報出力の利便性と、データ保護との両立に有効な装置及びシステムを提供する。 The present disclosure provides devices and systems that are effective in achieving both convenience of information output according to voice input and data protection.

本開示の一側面に係る情報出力装置は、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバに出力する音声データ出力部と、入力音声データに対応するアクセスキーを音声認識サーバから取得して情報管理サーバに出力するアクセスキー出力部と、アクセスキーに対応する出力用データセットを情報管理サーバから取得するデータ取得部と、出力用データセットに基づく情報をユーザインタフェースに出力する情報出力部と、を備える。 The information output device according to one aspect of the present disclosure has a voice data output unit that outputs input voice data corresponding to voice input to the user interface to the voice recognition server, and an access key corresponding to the input voice data from the voice recognition server. An access key output unit that acquires and outputs to the information management server, a data acquisition unit that acquires the output data set corresponding to the access key from the information management server, and information that outputs information based on the output data set to the user interface. It has an output unit.

この情報出力装置によれば、出力用データセットを音声認識サーバとは別の情報管理サーバに保持しつつ、音声認識サーバにおける音声認識を利用して情報管理サーバから出力用データセットを取得して出力することができる。従って、音声入力に従った情報出力の利便性と、データ保護との両立に有効である。 According to this information output device, while holding the output data set in an information management server different from the voice recognition server, the output data set is acquired from the information management server by using the voice recognition in the voice recognition server. Can be output. Therefore, it is effective in achieving both convenience of information output according to voice input and data protection.

情報出力装置は、入力音声データに対応する応答音声データを音声認識サーバから取得する音声データ取得部と、応答音声データに対応する音声応答をユーザインタフェースに再生させる音声再生部と、を更に備えていてもよい。この場合、情報出力部による情報の出力と、音声再生部による音声応答の再生とを組み合わせることによって、音声入力に従った情報出力の利便性を更に向上させることができる。 The information output device further includes a voice data acquisition unit that acquires the response voice data corresponding to the input voice data from the voice recognition server, and a voice reproduction unit that reproduces the voice response corresponding to the response voice data in the user interface. You may. In this case, by combining the output of information by the information output unit and the reproduction of the voice response by the voice reproduction unit, the convenience of information output according to the voice input can be further improved.

本開示の他の側面に係る情報出力システムは、上記の情報出力装置と、情報管理サーバと、を備え、情報管理サーバは、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶するデータ記憶部と、情報出力装置から取得したアクセスキーに対応する出力用データセットをデータ記憶部から抽出して情報出力装置に出力するデータ出力部と、を有する。 The information output system according to the other aspect of the present disclosure includes the above-mentioned information output device and an information management server, and the information management server associates a plurality of access keys with a plurality of output data sets, respectively. It has a data storage unit for storing and a data output unit that extracts an output data set corresponding to an access key acquired from the information output device from the data storage unit and outputs the data output unit to the information output device.

情報管理サーバは、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを音声認識サーバに出力する検索用データ生成部を更に備え、情報出力装置のアクセスキー出力部は、入力音声データに対応する入力ストリングと複数の検索用ストリングとに基づき複数のアクセスキーから抽出されたアクセスキーを音声認識サーバから取得してもよい。 The information management server further includes a search data generation unit that outputs a search database in which a plurality of access keys and a plurality of search strings are associated with each other to the voice recognition server, and the access key output unit of the information output device is The access key extracted from the plurality of access keys based on the input string corresponding to the input voice data and the plurality of search strings may be acquired from the voice recognition server.

本開示の更に他の側面に係る情報出力方法は、音声データ出力部が、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバに出力することと、情報出力装置のアクセスキー出力部が、入力音声データに対応するアクセスキーを音声認識サーバから取得して情報管理サーバに出力することと、データ取得部が、アクセスキーに対応する出力用データセットを情報管理サーバから取得することと、情報出力部が、出力用データセットに基づく情報をユーザインタフェースに出力することと、を含む。 In the information output method according to still another aspect of the present disclosure, the voice data output unit outputs the input voice data corresponding to the voice input to the user interface to the voice recognition server, and the access key output unit of the information output device. However, the access key corresponding to the input voice data is acquired from the voice recognition server and output to the information management server, and the data acquisition unit acquires the output data set corresponding to the access key from the information management server. , The information output unit outputs information based on the output data set to the user interface.

本開示の更に他の側面に係るプログラムは、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバに出力することと、入力音声データに対応するアクセスキーを音声認識サーバから取得して情報管理サーバに出力することと、アクセスキーに対応する出力用データセットを情報管理サーバから取得することと、出力用データセットに基づく情報をユーザインタフェースに出力することと、を含む情報出力方法を装置に実行させる。 The program according to still another aspect of the present disclosure outputs input voice data corresponding to voice input to the user interface to the voice recognition server, and acquires an access key corresponding to the input voice data from the voice recognition server. Information output method including output to the information management server, acquisition of the output data set corresponding to the access key from the information management server, and output of information based on the output data set to the user interface. Let the device do it.

本開示の更に他の側面に係るサーバ装置は、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶するデータ記憶部と、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを生成して音声認識サーバに出力する検索用データ生成部と、情報出力装置への音声入力に対応する入力ストリングと複数の検索用ストリングとに基づき、音声認識サーバにより複数のアクセスキーから抽出されたアクセスキーを情報出力装置から取得するアクセスキー取得部と、アクセスキーに対応する出力用データセットをデータ記憶部から抽出して情報出力装置に出力するデータ出力部と、を備える。 The server device according to still another aspect of the present disclosure has a data storage unit that stores a plurality of access keys and a plurality of output data sets in association with each other, and a plurality of access keys and a plurality of search strings, respectively. Based on the search data generator that generates the associated search database and outputs it to the voice recognition server, the input string corresponding to the voice input to the information output device, and a plurality of search strings, multiple voice recognition servers An access key acquisition unit that acquires the access key extracted from the access key of, and a data output unit that extracts the output data set corresponding to the access key from the data storage unit and outputs it to the information output device. To be equipped.

本開示の更に他の側面に係るデータ出力方法は、検索用データ生成部が、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを生成して音声認識サーバに出力することと、情報出力装置への音声入力に対応する入力ストリングと複数の検索用ストリングとに基づき、音声認識サーバにより複数のアクセスキーから抽出されたアクセスキーをアクセスキー取得部が情報出力装置から取得することと、データ出力部が、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶する記憶部からアクセスキーに対応する出力用データセットを抽出して情報出力装置に出力することと、を含む。 In the data output method according to still another aspect of the present disclosure, the search data generation unit generates a search database in which a plurality of access keys and a plurality of search strings are associated with each other and outputs the data to a voice recognition server. The access key acquisition unit acquires the access key extracted from multiple access keys by the voice recognition server based on the input string corresponding to the voice input to the information output device and the plurality of search strings. The data output unit extracts the output data set corresponding to the access key from the storage unit that stores the plurality of access keys and the plurality of output data sets in association with each other, and outputs the data set to the information output device. Including that.

本開示によれば、音声入力に従った情報出力の利便性と、データ保護との両立に有効な装置及びシステムを提供することができる。 According to the present disclosure, it is possible to provide an apparatus and a system effective for achieving both convenience of information output according to voice input and data protection.

情報出力システムの機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of an information output system. 検索用データベースを例示するテーブルである。It is a table exemplifying a search database. 出力用データベースを例示するテーブルである。It is a table exemplifying an output database. 情報出力システムのハードウェア構成を例示するブロック図である。It is a block diagram which illustrates the hardware configuration of an information output system. 情報出力システムのハードウェア構成の変形例を示すブロック図である。It is a block diagram which shows the modification of the hardware configuration of an information output system. 情報出力手順を例示するフローチャートである。It is a flowchart which illustrates the information output procedure. アクセスキー出力手順を例示するフローチャートである。It is a flowchart which illustrates the access key output procedure. データ出力手順を例示するフローチャートである。It is a flowchart which illustrates the data output procedure.

以下、実施形態について、図面を参照しつつ詳細に説明する。説明において、同一要素又は同一機能を有する要素には同一の符号を付し、重複する説明を省略する。 Hereinafter, embodiments will be described in detail with reference to the drawings. In the description, the same elements or elements having the same function are designated by the same reference numerals, and duplicate description will be omitted.

〔装置〕
図1に示す情報出力システム1は、音声入力によって要求された情報を出力するシステムである。情報出力システム1は、情報出力装置100と、情報管理サーバ300とを備える。
〔apparatus〕
The information output system 1 shown in FIG. 1 is a system that outputs information requested by voice input. The information output system 1 includes an information output device 100 and an information management server 300.

情報出力装置100は、ユーザインタフェースを有し、ネットワークNW(図4参照)を介して音声認識サーバ200及び情報管理サーバ300と通信可能な少なくとも1台の端末装置により構成される。ネットワークNWは、例えばインターネット等のワイドエリアネットワークである。 The information output device 100 has a user interface and is composed of at least one terminal device capable of communicating with the voice recognition server 200 and the information management server 300 via a network NW (see FIG. 4). The network NW is a wide area network such as the Internet.

ユーザインタフェースは、ユーザによる音声入力を取得し、ユーザに情報を出力する。情報の出力とは、音声の再生、画像の表示等によりユーザが認識し得るように情報を出力することを意味する。例えばユーザインタフェースは、少なくともユーザによる音声入力を取得するマイクと、ユーザに対し音声により情報を報知するスピーカと、ユーザに対し画像により情報を報知する表示デバイス(例えば液晶ディスプレイ、又は有機ELディスプレイ)とを含む。 The user interface acquires voice input by the user and outputs information to the user. The output of information means that the information is output so that the user can recognize it by playing back a sound, displaying an image, or the like. For example, the user interface includes at least a microphone that acquires voice input by the user, a speaker that notifies the user of information by voice, and a display device (for example, a liquid crystal display or an organic EL display) that notifies the user of information by image. including.

端末装置の具体例としては、デスクトップ型、ノート型、タブレット型、又はスマートホン型等のコンピュータ、及びスマートスピーカ等が挙げられる。情報出力装置100は、複数の端末装置により構成されていてもよい。例えば情報出力装置100は、表示デバイスを有するコンピュータと、マイク及びスピーカを有するスマートスピーカとにより構成されていてもよい。 Specific examples of the terminal device include a computer such as a desktop type, a notebook type, a tablet type, or a smartphone type, a smart speaker, and the like. The information output device 100 may be composed of a plurality of terminal devices. For example, the information output device 100 may be composed of a computer having a display device and a smart speaker having a microphone and a speaker.

情報出力装置100は、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバ200に出力することと、入力音声データに対応するアクセスキーを音声認識サーバ200から取得して情報管理サーバ300に出力することと、アクセスキーに対応する出力用データセットを情報管理サーバ300から取得することと、出力用データセットに基づく情報をユーザインタフェースに出力することと、を実行するように構成されている。例えば情報出力装置100は、機能上の構成要素(以下、「機能ブロック」という。)として、音声データ出力部111と、アクセスキー出力部112と、データ取得部113と、情報出力部114とを有する。 The information output device 100 outputs input voice data corresponding to voice input to the user interface to the voice recognition server 200, acquires an access key corresponding to the input voice data from the voice recognition server 200, and acquires the access key corresponding to the input voice data from the voice recognition server 200 to the information management server 300. It is configured to output to, to acquire the output data set corresponding to the access key from the information management server 300, and to output the information based on the output data set to the user interface. There is. For example, the information output device 100 includes a voice data output unit 111, an access key output unit 112, a data acquisition unit 113, and an information output unit 114 as functional components (hereinafter referred to as “functional blocks”). Have.

音声データ出力部111は、ユーザインタフェース(例えば後述のマイク194,494)への音声入力に対応する入力音声データを音声認識サーバ200に出力する。例えば音声データ出力部111は、音声入力に応じてマイク194,494が出力する電気信号に基づいて、所定の音声ファイルフォーマットの入力音声データを生成し、生成した入力音声データをネットワークNW経由で音声認識サーバ200に送信する。 The voice data output unit 111 outputs input voice data corresponding to voice input to the user interface (for example, microphones 194 and 494 described later) to the voice recognition server 200. For example, the voice data output unit 111 generates input voice data in a predetermined voice file format based on the electric signals output by the microphones 194 and 494 in response to the voice input, and the generated input voice data is voiced via the network NW. It is transmitted to the recognition server 200.

音声入力の具体例としては、「XXの情報を教えて。」等、情報の出力を求める音声入力が挙げられる。音声入力は、情報出力装置100を運用する企業の営業秘密を含む情報の出力を求める音声入力であってもよい。このような音声入力の具体例としては、「XX作業の手順を教えて。」「XX作業における過去の失敗事例を教えて。」「XXエリアの顧客情報を教えて。」等が挙げられる。 Specific examples of voice input include voice input for requesting information output, such as "Tell me about XX information." The voice input may be a voice input that requests the output of information including the trade secret of the company that operates the information output device 100. Specific examples of such voice input include "tell me the procedure of XX work", "tell me past failure cases in XX work", and "tell me customer information in the XX area".

アクセスキー出力部112は、入力音声データに対応するアクセスキーを音声認識サーバ200から取得して情報管理サーバ300に出力する。例えばアクセスキー出力部112は、アクセスキーを示すデジタルデータをネットワークNW経由で音声認識サーバ200から受信し、受信したデジタルデータをネットワークNW経由で情報管理サーバ300に送信する。 The access key output unit 112 acquires an access key corresponding to the input voice data from the voice recognition server 200 and outputs the access key to the information management server 300. For example, the access key output unit 112 receives digital data indicating an access key from the voice recognition server 200 via the network NW, and transmits the received digital data to the information management server 300 via the network NW.

データ取得部113は、アクセスキーに対応する出力用データセットを情報管理サーバ300から取得する。例えばデータ取得部113は、出力用データセットをネットワークNW経由で情報管理サーバ300から受信する。 The data acquisition unit 113 acquires an output data set corresponding to the access key from the information management server 300. For example, the data acquisition unit 113 receives the output data set from the information management server 300 via the network NW.

出力用データセットは、出力すべき情報を定めるデータセットである。例えば出力用データセットは、情報を報知する画像を表示するための画像データ又はテキストデータ、情報を報知する音声を再生するための音声データ又はテキストデータ等が挙げられる。出力用データセットは、上記営業秘密を示すデータを含んでいてもよい。営業秘密を含むデータの具体例としては、指定された作業の手順を示すデータ、指定された作業における過去の失敗事例を示すデータ、指定されたエリアの顧客情報を示すデータ等が挙げられる。 The output data set is a data set that defines the information to be output. For example, the output data set includes image data or text data for displaying an image for notifying information, audio data or text data for reproducing a voice for notifying information, and the like. The output data set may include data indicating the above trade secret. Specific examples of the data including trade secrets include data showing a procedure of a designated work, data showing a past failure case in a designated work, data showing customer information in a designated area, and the like.

情報出力部114は、出力用データセットに基づく情報をユーザインタフェースに出力する。例えば情報出力部114は、出力用データセットが含む画像データに基づいて画像表示用の電気信号を生成し、生成した電気信号を表示デバイス196,594に出力する。情報出力部114は、出力用データセットが含むテキストデータに基づいて画像データを生成し、生成した画像データに基づいて画像表示用の電気信号を生成し、生成した電気信号を表示デバイス196,594に出力してもよい。情報出力部114は、出力用データセットが含む音声データに基づいて音声再生用の電気信号を生成し、生成した電気信号をスピーカ195,495に出力してもよい。情報出力部114は、出力用データセットが含むテキストデータに基づいて音声データを生成し、生成した音声データに基づいて音声再生用の電気信号を生成し、生成した電気信号をスピーカ195,495に出力してもよい。 The information output unit 114 outputs information based on the output data set to the user interface. For example, the information output unit 114 generates an electric signal for image display based on the image data included in the output data set, and outputs the generated electric signal to the display devices 196, 594. The information output unit 114 generates image data based on the text data included in the output data set, generates an electric signal for image display based on the generated image data, and displays the generated electric signal on the display device 196,594. It may be output to. The information output unit 114 may generate an electric signal for voice reproduction based on the voice data included in the output data set, and output the generated electric signal to the speakers 195 and 495. The information output unit 114 generates voice data based on the text data included in the output data set, generates an electric signal for voice reproduction based on the generated voice data, and transmits the generated electric signal to the speakers 195 and 495. You may output it.

情報出力装置100は、音声データ取得部115と音声再生部116とを更に有してもよい。音声データ取得部115は、アクセスキーに対応する応答音声データを音声認識サーバ200から取得する。例えば音声データ取得部115は、応答音声データをネットワークNW経由で音声認識サーバ200から受信する。音声再生部116は、応答音声データに対応する音声応答をユーザインタフェースに再生させる。例えば音声再生部116は、応答音声データに基づいて音声応答再生用の電気信号を生成し、生成した電気信号をスピーカ195,495に出力する。 The information output device 100 may further include a voice data acquisition unit 115 and a voice reproduction unit 116. The voice data acquisition unit 115 acquires the response voice data corresponding to the access key from the voice recognition server 200. For example, the voice data acquisition unit 115 receives the response voice data from the voice recognition server 200 via the network NW. The voice reproduction unit 116 causes the user interface to reproduce the voice response corresponding to the response voice data. For example, the voice reproduction unit 116 generates an electric signal for voice response reproduction based on the response voice data, and outputs the generated electric signal to the speakers 195 and 495.

音声認識サーバ200は、ネットワークNWを介して情報出力装置100及び情報管理サーバ300と通信可能なサーバコンピュータであり、情報出力装置100を運用する主体(例えば企業)とは別の主体により管理されている。音声認識サーバ200は、情報出力装置100から取得した入力音声データに対応するアクセスキーを情報出力装置100に出力する。例えば音声認識サーバ200は、機能ブロックとして、検索用データ記憶部211と、音声データ取得部212と、データ変換部213と、データ抽出部214と、音声データ出力部215と、アクセスキー出力部216と、検索用データ更新部217とを有する。 The voice recognition server 200 is a server computer capable of communicating with the information output device 100 and the information management server 300 via the network NW, and is managed by an entity other than the entity (for example, a company) that operates the information output device 100. There is. The voice recognition server 200 outputs an access key corresponding to the input voice data acquired from the information output device 100 to the information output device 100. For example, the voice recognition server 200 has search data storage unit 211, voice data acquisition unit 212, data conversion unit 213, data extraction unit 214, voice data output unit 215, and access key output unit 216 as functional blocks. And a search data update unit 217.

検索用データ記憶部211は、検索用データベースを記憶する。検索用データベースは、複数のアクセスキーと複数の検索用ストリング(文字列)とをそれぞれ対応付けたデータベースである。検索用データベースは、上述した出力用データセットを含まない。 The search data storage unit 211 stores the search database. The search database is a database in which a plurality of access keys and a plurality of search strings (character strings) are associated with each other. The search database does not include the output dataset described above.

図2は、検索用データベースを例示するテーブルである。図2に示す検索用データベース220は、複数のレコード221を有する。複数のレコード221のそれぞれは、1つのアクセスキー222と、これに対応する1セットの検索用ストリング223とを含む。
検索用ストリング223は、例えばアクセスキー222に対応付けられた上記出力用データセットの概要を説明する文字列である。このような文字列の具体例としては、「XX作業の基本的な手順を示します。」「XX作業には、YY件の失敗事例があります。」「XXエリアには、YY件の顧客データがあります。」等が挙げられる。
FIG. 2 is a table illustrating a search database. The search database 220 shown in FIG. 2 has a plurality of records 221. Each of the plurality of records 221 includes one access key 222 and a corresponding set of search strings 223.
The search string 223 is, for example, a character string for explaining the outline of the output data set associated with the access key 222. As a concrete example of such a character string, "The basic procedure of XX work is shown.""There are YY failure cases in XX work.""YY customer data in the XX area." There is. "

図1に戻り、音声データ取得部212は、上記入力音声データを情報出力装置100から取得する。例えば入力音声データをネットワークNW経由で情報出力装置100から受信する。データ変換部213は、音声データ取得部212が受信した入力音声データを文字列である入力ストリングに変換する。 Returning to FIG. 1, the voice data acquisition unit 212 acquires the input voice data from the information output device 100. For example, the input voice data is received from the information output device 100 via the network NW. The data conversion unit 213 converts the input voice data received by the voice data acquisition unit 212 into an input string which is a character string.

データ抽出部214は、入力ストリングと、検索用データベースにおける複数の検索用ストリングとに基づいて、複数のアクセスキーから少なくとも1つのアクセスキーを抽出する。例えばデータ抽出部214は、入力ストリングから検索用のキーストリングを抽出し、複数の検索用ストリングのうちキーストリングを少なくとも部分的に含むストリングに対応するアクセスキーを検索用データベースから抽出する。以下、データ抽出部214が抽出したアクセスキーを「出力用アクセスキー」という。なお、キーストリングを部分的に含むストリングが複数の検索用ストリングの中にない場合には、データ抽出部214は、アクセスキーを抽出しなくてもよい。 The data extraction unit 214 extracts at least one access key from the plurality of access keys based on the input string and the plurality of search strings in the search database. For example, the data extraction unit 214 extracts the search key string from the input string, and extracts the access key corresponding to the string including the key string at least partially from the plurality of search strings from the search database. Hereinafter, the access key extracted by the data extraction unit 214 is referred to as an “output access key”. If the string partially including the key string is not included in the plurality of search strings, the data extraction unit 214 does not have to extract the access key.

音声データ出力部215は、出力用アクセスキーに対応する応答音声データを情報出力装置100に出力する。例えば音声データ出力部215は、検索用データベースにおいて出力用アクセスキーに対応付けられた検索用ストリングを音声データに変換して応答音声データを生成し、生成した応答音声データをネットワークNW経由で情報出力装置100に送信する。 The voice data output unit 215 outputs the response voice data corresponding to the output access key to the information output device 100. For example, the voice data output unit 215 converts the search string associated with the output access key in the search database into voice data to generate response voice data, and outputs the generated response voice data via the network NW. It is transmitted to the device 100.

アクセスキー出力部216は、出力用アクセスキーを情報出力装置100に出力する。例えばアクセスキー出力部216は、出力用アクセスキーを示すデジタルデータをネットワークNW経由で情報出力装置100に送信する。上述したアクセスキー出力部112は、上記入力ストリングと複数の検索用ストリングとに基づき複数のアクセスキーから抽出されたアクセスキーを音声認識サーバ200から取得することとなる。 The access key output unit 216 outputs an output access key to the information output device 100. For example, the access key output unit 216 transmits digital data indicating an output access key to the information output device 100 via the network NW. The access key output unit 112 described above acquires the access keys extracted from the plurality of access keys based on the input string and the plurality of search strings from the voice recognition server 200.

検索用データ更新部217は、検索用データベースを情報管理サーバ300から取得し、取得した検索用データベースに基づいて検索用データ記憶部211の検索用データベースを更新する。例えば検索用データ更新部217は、検索用データベースをネットワークNW経由で情報管理サーバ300から受信し、受信した検索用データベースを検索用データ記憶部211に上書き保存する。 The search data update unit 217 acquires the search database from the information management server 300, and updates the search database of the search data storage unit 211 based on the acquired search database. For example, the search data update unit 217 receives the search database from the information management server 300 via the network NW, and overwrites and saves the received search database in the search data storage unit 211.

なお、アクセスキー出力部216は、検索用ストリング自体をアクセスキーとして情報出力装置100に出力してもよい。この場合、検索用データベース220のレコード221は、検索用ストリング223とは別のアクセスキー222を含んでいなくてもよい。 The access key output unit 216 may output the search string itself as an access key to the information output device 100. In this case, the record 221 of the search database 220 does not have to include an access key 222 different from the search string 223.

情報管理サーバ300(サーバ装置)は、ネットワークNWを介して情報出力装置100及び音声認識サーバ200と通信可能なサーバコンピュータである。情報管理サーバ300を管理する主体は、情報出力装置100を運用する主体と同じであり、音声認識サーバ200を運用する主体とは異なる。 The information management server 300 (server device) is a server computer capable of communicating with the information output device 100 and the voice recognition server 200 via the network NW. The subject that manages the information management server 300 is the same as the subject that operates the information output device 100, and is different from the subject that operates the voice recognition server 200.

情報管理サーバ300は、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを生成して音声認識サーバ200に出力することと、情報出力装置100への音声入力に対応する入力ストリングと複数の検索用ストリングとに基づき、音声認識サーバ200により複数のアクセスキーから抽出されたアクセスキーを情報出力装置100から取得することと、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶する記憶部からアクセスキーに対応する出力用データセットを抽出して情報出力装置100に出力することと、を実行するように構成されている。例えば情報管理サーバ300は、機能ブロックとして、データ記憶部311と、検索用データ生成部314と、アクセスキー取得部312と、データ出力部313とを有する。データ記憶部311は、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けた出力用データベースを記憶する。 The information management server 300 generates a search database in which a plurality of access keys and a plurality of search strings are associated with each other and outputs the database to the voice recognition server 200, and supports voice input to the information output device 100. Acquiring the access key extracted from the plurality of access keys by the voice recognition server 200 based on the input string and the plurality of search strings from the information output device 100, and the plurality of access keys and the plurality of output data sets. Is configured to extract the output data set corresponding to the access key from the storage unit that stores the information in association with each other and output the data set to the information output device 100. For example, the information management server 300 has a data storage unit 311 as a functional block, a search data generation unit 314, an access key acquisition unit 312, and a data output unit 313. The data storage unit 311 stores an output database in which a plurality of access keys and a plurality of output data sets are associated with each other.

図3は、出力用データベースを例示するテーブルである。図3に示す出力用データベース320は、複数のレコード321を有する。複数のレコード321のそれぞれは、1つのアクセスキー322と、これに対応する1セットの検索用ストリング323及び1セットの出力用データセット324とを含む。検索用ストリング323は、例えば出力用データセット324の概要を説明する文字列である。 FIG. 3 is a table illustrating an output database. The output database 320 shown in FIG. 3 has a plurality of records 321. Each of the plurality of records 321 includes one access key 322 and a corresponding set of search strings 323 and one set of output data sets 324. The search string 323 is, for example, a character string for explaining the outline of the output data set 324.

図1に戻り、検索用データ生成部314は、複数のアクセスキーと複数の検索用ストリングとを対応付けた検索用データベースを音声認識サーバ200に出力する。例えば検索用データ生成部314は、出力用データベース320のうち、各レコード321の出力用データセット324を除いた部分を複製して検索用データベースを生成し、生成した検索用データベースをネットワークNW経由で音声認識サーバ200に送信する。 Returning to FIG. 1, the search data generation unit 314 outputs a search database in which a plurality of access keys and a plurality of search strings are associated with each other to the voice recognition server 200. For example, the search data generation unit 314 generates a search database by duplicating the part of the output database 320 excluding the output data set 324 of each record 321 and generates the generated search database via the network NW. It is transmitted to the voice recognition server 200.

アクセスキー取得部312は、情報出力装置100への音声入力に対応する入力ストリングと複数の検索用ストリングとに基づき、音声認識サーバ200により複数のアクセスキーから抽出されたアクセスキーを情報出力装置100から取得する。 The access key acquisition unit 312 outputs the access key extracted from the plurality of access keys by the voice recognition server 200 based on the input string corresponding to the voice input to the information output device 100 and the plurality of search strings. Get from.

データ出力部313は、情報出力装置100から取得したアクセスキーに対応する出力用データセットをデータ記憶部311の出力用データベースから抽出して情報出力装置100に出力する。例えばデータ出力部313は、出力用データベースから抽出した出力用データセットをネットワークNW経由で情報出力装置100に送信する。 The data output unit 313 extracts an output data set corresponding to the access key acquired from the information output device 100 from the output database of the data storage unit 311 and outputs the data set to the information output device 100. For example, the data output unit 313 transmits the output data set extracted from the output database to the information output device 100 via the network NW.

図4は、情報出力システム1のハードウェア構成を例示するブロック図である。図4に示すように、情報出力装置100は回路190を備える。回路190は、少なくとも1つのプロセッサ191と、少なくとも1つのメモリ192と、少なくとも1つのストレージ193と、マイク194と、スピーカ195と、表示デバイス196と、通信ポート197とを有する。 FIG. 4 is a block diagram illustrating a hardware configuration of the information output system 1. As shown in FIG. 4, the information output device 100 includes a circuit 190. The circuit 190 has at least one processor 191 and at least one memory 192, at least one storage 193, a microphone 194, a speaker 195, a display device 196, and a communication port 197.

ストレージ193は、例えばハードディスク等、コンピュータによって読み取り可能な記憶媒体を有する。記憶媒体は、不揮発性の半導体メモリ、磁気ディスク及び光ディスク等の取り出し可能な媒体であってもよい。ストレージ193は、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバ200に出力することと、入力音声データに対応するアクセスキーを音声認識サーバ200から取得して情報管理サーバ300に出力することと、アクセスキーに対応する出力用データセットを情報管理サーバ300から取得することと、出力用データセットに基づく情報をユーザインタフェースに出力することと、を含む情報出力方法を情報出力装置100に実行させるためのプログラムを記憶している。例えばストレージ193は、上述した各機能ブロックを情報出力装置100に構成させるためのプログラムを記憶している。 The storage 193 has a computer-readable storage medium, such as a hard disk. The storage medium may be a removable medium such as a non-volatile semiconductor memory, a magnetic disk, or an optical disk. The storage 193 outputs input voice data corresponding to voice input to the user interface to the voice recognition server 200, and acquires an access key corresponding to the input voice data from the voice recognition server 200 and outputs the access key to the information management server 300. The information output device 100 provides an information output method including the following: acquiring the output data set corresponding to the access key from the information management server 300, and outputting the information based on the output data set to the user interface. Remembers the program to be executed by. For example, the storage 193 stores a program for configuring each of the above-mentioned functional blocks in the information output device 100.

メモリ192は、ストレージ193の記憶媒体からロードしたプログラム及びプロセッサ191による演算結果を一時的に記憶する。プロセッサ191は、メモリ192と協働して上記プログラムを実行することで、上述した各機能ブロックを構成する。マイク194は、音声入力に応じて電気信号を出力する。スピーカ195は、プロセッサ191からの指令に従って生成された電気信号に応じて音声を再生する。表示デバイス196は、プロセッサ191からの指令に従って生成された電気信号に応じて画像を表示する。表示デバイス196の具体例としては、液晶ディスプレイ又は有機ELディスプレイ等が挙げられる。通信ポート197は、プロセッサ191からの指令に従って、ネットワークNWを介して音声認識サーバ200及び情報管理サーバ300とネットワーク通信を行う。 The memory 192 temporarily stores the program loaded from the storage medium of the storage 193 and the calculation result by the processor 191. The processor 191 constitutes each of the above-mentioned functional blocks by executing the above program in cooperation with the memory 192. The microphone 194 outputs an electric signal in response to the voice input. The speaker 195 reproduces the sound according to the electric signal generated according to the command from the processor 191. The display device 196 displays an image in response to an electrical signal generated in accordance with a command from processor 191. Specific examples of the display device 196 include a liquid crystal display, an organic EL display, and the like. The communication port 197 performs network communication with the voice recognition server 200 and the information management server 300 via the network NW in accordance with a command from the processor 191.

音声認識サーバ200は、回路290を備える。回路290は、少なくとも1つのプロセッサ291と、少なくとも1つのメモリ292と、少なくとも1つのストレージ293と、通信ポート294とを有する。ストレージ293は、例えばハードディスク等、コンピュータによって読み取り可能な記憶媒体を有する。記憶媒体は、不揮発性の半導体メモリ、磁気ディスク及び光ディスク等の取り出し可能な媒体であってもよい。ストレージ293は、情報出力装置100から取得した入力音声データに対応するアクセスキーを情報出力装置100に出力することを音声認識サーバ200に実行させるためのプログラムを記憶している。例えばストレージ293は、上述した検索用データ記憶部211と、音声データ取得部212と、データ変換部213と、データ抽出部214と、音声データ出力部215と、アクセスキー出力部216と、検索用データ更新部217とを音声認識サーバ200に構成させるためのプログラムを記憶している。 The voice recognition server 200 includes a circuit 290. Circuit 290 has at least one processor 291 and at least one memory 292, at least one storage 293, and a communication port 294. The storage 293 has a computer-readable storage medium, such as a hard disk. The storage medium may be a removable medium such as a non-volatile semiconductor memory, a magnetic disk, or an optical disk. The storage 293 stores a program for causing the voice recognition server 200 to output the access key corresponding to the input voice data acquired from the information output device 100 to the information output device 100. For example, the storage 293 includes the above-mentioned search data storage unit 211, voice data acquisition unit 212, data conversion unit 213, data extraction unit 214, voice data output unit 215, access key output unit 216, and search. A program for configuring the data update unit 217 and the voice recognition server 200 is stored.

メモリ292は、ストレージ293の記憶媒体からロードしたプログラム及びプロセッサ291による演算結果を一時的に記憶する。プロセッサ291は、メモリ292と協働して上記プログラムを実行することで、上述した各機能ブロックを構成する。通信ポート294は、プロセッサ291からの指令に従って、ネットワークNWを介して情報出力装置100及び情報管理サーバ300とネットワーク通信を行う。 The memory 292 temporarily stores the program loaded from the storage medium of the storage 293 and the calculation result by the processor 291. The processor 291 constitutes each of the above-mentioned functional blocks by executing the above program in cooperation with the memory 292. The communication port 294 performs network communication with the information output device 100 and the information management server 300 via the network NW in accordance with a command from the processor 291.

情報管理サーバ300は、回路390を備える。回路390は、少なくとも1つのプロセッサ391と、少なくとも1つのメモリ392と、少なくとも1つのストレージ393と、通信ポート394とを有する。ストレージ393は、例えばハードディスク等、コンピュータによって読み取り可能な記憶媒体を有する。記憶媒体は、不揮発性の半導体メモリ、磁気ディスク及び光ディスク等の取り出し可能な媒体であってもよい。ストレージ393は、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを生成して音声認識サーバ200に出力することと、情報出力装置100への音声入力に対応する入力ストリングと複数の検索用ストリングとに基づき、音声認識サーバ200により複数のアクセスキーから抽出されたアクセスキーを情報出力装置100から取得することと、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶する記憶部からアクセスキーに対応する出力用データセットを抽出して情報出力装置100に出力することとを情報管理サーバ300に実行させるためのプログラムを記憶している。例えばストレージ393は、上述したデータ記憶部311と、検索用データ生成部314と、アクセスキー取得部312と、データ出力部313とを情報管理サーバ300に構成させるためのプログラムを記憶している。 The information management server 300 includes a circuit 390. Circuit 390 has at least one processor 391, at least one memory 392, at least one storage 393, and communication port 394. The storage 393 has a computer-readable storage medium, such as a hard disk. The storage medium may be a removable medium such as a non-volatile semiconductor memory, a magnetic disk, or an optical disk. The storage 393 generates a search database in which a plurality of access keys and a plurality of search strings are associated with each other and outputs the search database to the voice recognition server 200, and an input string corresponding to voice input to the information output device 100. The access key extracted from the plurality of access keys by the voice recognition server 200 is acquired from the information output device 100 based on the above and the plurality of search strings, and the plurality of access keys and the plurality of output data sets are obtained, respectively. A program for causing the information management server 300 to extract the output data set corresponding to the access key from the storage unit to be stored in association with the information output device 100 and output the data set to the information output device 100 is stored. For example, the storage 393 stores a program for configuring the above-mentioned data storage unit 311, search data generation unit 314, access key acquisition unit 312, and data output unit 313 in the information management server 300.

メモリ392は、ストレージ393の記憶媒体からロードしたプログラム及びプロセッサ391による演算結果を一時的に記憶する。プロセッサ391は、メモリ392と協働して上記プログラムを実行することで、上述した各機能ブロックを構成する。通信ポート394は、プロセッサ391からの指令に従って、ネットワークNWを介して情報出力装置100及び音声認識サーバ200とネットワーク通信を行う。 The memory 392 temporarily stores the program loaded from the storage medium of the storage 393 and the calculation result by the processor 391. The processor 391 constitutes each of the above-mentioned functional blocks by executing the above program in cooperation with the memory 392. The communication port 394 performs network communication with the information output device 100 and the voice recognition server 200 via the network NW in accordance with a command from the processor 391.

上述したように、情報出力装置100は、複数の端末装置により構成されていてもよい。図5は、情報出力装置100が音声端末400及び表示端末500により構成されるハードウェア構成を例示するブロック図である。図5において、音声認識サーバ200及び情報管理サーバ300の構成は上述したとおりである。音声端末400は、例えばスマートスピーカであり、回路490を備える。回路490は、少なくとも1つのプロセッサ491と、少なくとも1つのメモリ492と、少なくとも1つのストレージ493と、マイク494と、スピーカ495と、通信ポート496とを有する。ストレージ493は、例えばハードディスク等、コンピュータによって読み取り可能な記憶媒体を有する。記憶媒体は、不揮発性の半導体メモリ、磁気ディスク及び光ディスク等の取り出し可能な媒体であってもよい。ストレージ493は、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバ200に出力することを音声端末400に実行させるプログラムを記憶している。例えばストレージ493は、上述した音声データ出力部111と、音声データ取得部115と、音声再生部116とを音声端末400に構成させるためのプログラムを記憶している。 As described above, the information output device 100 may be composed of a plurality of terminal devices. FIG. 5 is a block diagram illustrating a hardware configuration in which the information output device 100 is composed of a voice terminal 400 and a display terminal 500. In FIG. 5, the configurations of the voice recognition server 200 and the information management server 300 are as described above. The voice terminal 400 is, for example, a smart speaker and includes a circuit 490. Circuit 490 includes at least one processor 491, at least one memory 492, at least one storage 493, a microphone 494, a speaker 495, and a communication port 496. The storage 493 has a computer-readable storage medium, such as a hard disk. The storage medium may be a removable medium such as a non-volatile semiconductor memory, a magnetic disk, or an optical disk. The storage 493 stores a program for causing the voice terminal 400 to output the input voice data corresponding to the voice input to the user interface to the voice recognition server 200. For example, the storage 493 stores a program for configuring the voice data output unit 111, the voice data acquisition unit 115, and the voice reproduction unit 116 described above in the voice terminal 400.

メモリ492は、ストレージ493の記憶媒体からロードしたプログラム及びプロセッサ491による演算結果を一時的に記憶する。プロセッサ491は、メモリ492と協働して上記プログラムを実行することで、上述した各機能ブロックを構成する。マイク494は、音声入力に応じて電気信号を出力する。スピーカ495は、プロセッサ491からの指令に従って生成された電気信号に応じて音声を再生する。通信ポート496は、プロセッサ491からの指令に従って、ネットワークNWを介して音声認識サーバ200、情報管理サーバ300及び表示端末500とネットワーク通信を行う。 The memory 492 temporarily stores the program loaded from the storage medium of the storage 493 and the calculation result by the processor 491. The processor 491 constitutes each of the above-mentioned functional blocks by executing the above program in cooperation with the memory 492. The microphone 494 outputs an electric signal in response to the voice input. The speaker 495 reproduces sound in response to an electrical signal generated according to a command from the processor 491. The communication port 496 performs network communication with the voice recognition server 200, the information management server 300, and the display terminal 500 via the network NW in accordance with a command from the processor 491.

表示端末500は、デスクトップ型、ノート型、タブレット型、又はスマートホン型のコンピュータであり、回路590を有する。回路590は、少なくとも1つのプロセッサ591と、少なくとも1つのメモリ592と、少なくとも1つのストレージ593と、表示デバイス594と、通信ポート595とを有する。ストレージ593は、例えばハードディスク等、コンピュータによって読み取り可能な記憶媒体を有する。記憶媒体は、不揮発性の半導体メモリ、磁気ディスク及び光ディスク等の取り出し可能な媒体であってもよい。ストレージ593は、入力音声データに対応するアクセスキーを音声認識サーバ200から取得して情報管理サーバ300に出力することと、アクセスキーに対応する出力用データセットを情報管理サーバ300から取得することと、出力用データセットに基づく情報をユーザインタフェースに出力することと、を含む情報出力方法を表示端末500に実行させるためのプログラムを記憶している。例えばストレージ593は、上述したアクセスキー出力部112と、データ取得部113と、情報出力部114とを表示端末500に構成させるためのプログラムを記憶している。 The display terminal 500 is a desktop type, notebook type, tablet type, or smartphone type computer, and has a circuit 590. Circuit 590 includes at least one processor 591, at least one memory 592, at least one storage 593, display device 594, and communication port 595. The storage 593 has a computer-readable storage medium, such as a hard disk. The storage medium may be a removable medium such as a non-volatile semiconductor memory, a magnetic disk, or an optical disk. The storage 593 acquires the access key corresponding to the input voice data from the voice recognition server 200 and outputs it to the information management server 300, and acquires the output data set corresponding to the access key from the information management server 300. , Outputs information based on the output data set to the user interface, and stores a program for causing the display terminal 500 to execute an information output method including. For example, the storage 593 stores a program for configuring the access key output unit 112, the data acquisition unit 113, and the information output unit 114 described above in the display terminal 500.

メモリ592は、ストレージ593の記憶媒体からロードしたプログラム及びプロセッサ591による演算結果を一時的に記憶する。プロセッサ591は、メモリ592と協働して上記プログラムを実行することで、上述した各機能ブロックを構成する。表示デバイス594は、プロセッサ591からの指令に従って生成された電気信号に応じて画像を表示する。表示デバイス594の具体例としては、液晶ディスプレイ又は有機ELディスプレイ等が挙げられる。通信ポート595は、プロセッサ591からの指令に従って、ネットワークNWを介して音声認識サーバ200、情報管理サーバ300及び音声端末400とネットワーク通信を行う。 The memory 592 temporarily stores the program loaded from the storage medium of the storage 593 and the calculation result by the processor 591. The processor 591 constitutes each of the above-mentioned functional blocks by executing the above program in cooperation with the memory 592. The display device 594 displays an image in response to an electrical signal generated according to a command from the processor 591. Specific examples of the display device 594 include a liquid crystal display, an organic EL display, and the like. The communication port 595 performs network communication with the voice recognition server 200, the information management server 300, and the voice terminal 400 via the network NW in accordance with a command from the processor 591.

〔情報出力手順〕
続いて、情報出力方法の一例として、情報出力装置100が実行する情報出力手順を例示する。この手順は、音声データ出力部111が、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバ200に出力することと、アクセスキー出力部112が、音声データに対応するアクセスキーを音声認識サーバ200から取得して情報管理サーバ300に出力することと、データ取得部113が、アクセスキーに対応する出力用データセットを情報管理サーバ300から取得することと、情報出力部114が、出力用データセットに基づく情報をユーザインタフェースに出力することと、を含む。
[Information output procedure]
Subsequently, as an example of the information output method, an information output procedure executed by the information output device 100 will be illustrated. In this procedure, the voice data output unit 111 outputs the input voice data corresponding to the voice input to the user interface to the voice recognition server 200, and the access key output unit 112 voices the access key corresponding to the voice data. Acquiring from the recognition server 200 and outputting to the information management server 300, the data acquisition unit 113 acquiring the output data set corresponding to the access key from the information management server 300, and the information output unit 114 outputting. Includes outputting information based on the data set to the user interface.

図6に示すように、情報出力装置100は、ステップS01,S02,S03,S04,S05,S06,S07,S08を実行する。ステップS01では、音声データ出力部111が、ユーザインタフェースへの音声入力を待機する。ステップS02では、音声データ出力部111が、音声入力に対応する入力音声データを音声認識サーバ200に出力する。ステップS03では、音声データ取得部115が、ステップS02で出力された入力音声データに対応する応答音声データを音声認識サーバ200から取得する。ステップS04では、音声再生部116が、応答音声データに対応する音声応答をユーザインタフェースに再生させる。 As shown in FIG. 6, the information output device 100 executes steps S01, S02, S03, S04, S05, S06, S07, and S08. In step S01, the voice data output unit 111 waits for voice input to the user interface. In step S02, the voice data output unit 111 outputs the input voice data corresponding to the voice input to the voice recognition server 200. In step S03, the voice data acquisition unit 115 acquires the response voice data corresponding to the input voice data output in step S02 from the voice recognition server 200. In step S04, the voice reproduction unit 116 causes the user interface to reproduce the voice response corresponding to the response voice data.

ステップS05では、アクセスキー出力部112が、入力音声データに対応するアクセスキーを音声認識サーバ200から取得する。ステップS06では、アクセスキー出力部112が、ステップS05で取得したアクセスキーを情報管理サーバ300に出力する。ステップS07では、データ取得部113が、ステップS06で出力されたアクセスキーに対応する出力用データセットを情報管理サーバ300から取得する。ステップS08では、情報出力部114が、出力用データセットに基づく情報をユーザインタフェースに出力する。 In step S05, the access key output unit 112 acquires the access key corresponding to the input voice data from the voice recognition server 200. In step S06, the access key output unit 112 outputs the access key acquired in step S05 to the information management server 300. In step S07, the data acquisition unit 113 acquires an output data set corresponding to the access key output in step S06 from the information management server 300. In step S08, the information output unit 114 outputs information based on the output data set to the user interface.

以上で情報出力手順が完了する。各ステップの実行順序は適宜変更可能である。例えば、ステップS05,S06,S07,S08を、ステップS04,S05と並行して実行してもよく、ステップS04,S05に先行して実行してもよい。 This completes the information output procedure. The execution order of each step can be changed as appropriate. For example, steps S05, S06, S07, and S08 may be executed in parallel with steps S04 and S05, or may be executed prior to steps S04 and S05.

〔アクセスキー出力手順〕
続いて、音声認識サーバ200が実行するアクセスキー出力手順を例示する。図7に示すように、音声認識サーバ200は、ステップS11,S12,S13,S14,S15を実行する。ステップS11では、音声データ取得部212が、情報出力装置100からの入力音声データの取得を待機する。ステップS12では、データ変換部213が、ステップS11で取得された入力音声データを文字列である入力ストリングに変換する。
[Access key output procedure]
Subsequently, the access key output procedure executed by the voice recognition server 200 will be illustrated. As shown in FIG. 7, the voice recognition server 200 executes steps S11, S12, S13, S14, and S15. In step S11, the voice data acquisition unit 212 waits for the acquisition of the input voice data from the information output device 100. In step S12, the data conversion unit 213 converts the input voice data acquired in step S11 into an input string which is a character string.

ステップS13では、データ抽出部214が、入力ストリングと、検索用データベースにおける複数の検索用ストリングとに基づいて、複数のアクセスキーから少なくとも1つのアクセスキーを抽出する。ステップS14では、音声データ出力部215が、ステップS13で抽出されたアクセスキー(上記出力用アクセスキー)に対応する応答音声データを情報出力装置100に出力する。ステップS15では、アクセスキー出力部216が、出力用アクセスキーを情報出力装置100に出力する。 In step S13, the data extraction unit 214 extracts at least one access key from the plurality of access keys based on the input string and the plurality of search strings in the search database. In step S14, the voice data output unit 215 outputs the response voice data corresponding to the access key (the output access key) extracted in step S13 to the information output device 100. In step S15, the access key output unit 216 outputs the output access key to the information output device 100.

以上でアクセスキーの出力手順が完了する。各ステップの実行順序は適宜変更可能である。例えば、ステップS15を、ステップS14と並行して実行してもよく、ステップS14に先行して実行してもよい。 This completes the access key output procedure. The execution order of each step can be changed as appropriate. For example, step S15 may be executed in parallel with step S14, or may be executed prior to step S14.

〔データ出力手順〕
続いて、データ出力方法の一例として、情報管理サーバ300が実行するデータ出力手順を例示する。この手順は、検索用データ生成部314が、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを生成して音声認識サーバ200に出力することと、情報出力装置100への音声入力に対応する入力ストリングと複数の検索用ストリングとに基づき、音声認識サーバ200により複数のアクセスキーから抽出されたアクセスキーをアクセスキー取得部312が情報出力装置から取得することと、データ出力部313が、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶するデータ記憶部311からアクセスキーに対応する出力用データセットを抽出して情報出力装置100に出力することと、を含む。
[Data output procedure]
Subsequently, as an example of the data output method, a data output procedure executed by the information management server 300 will be illustrated. In this procedure, the search data generation unit 314 generates a search database in which a plurality of access keys and a plurality of search strings are associated with each other and outputs the database to the voice recognition server 200, and outputs the search database to the information output device 100. The access key acquisition unit 312 acquires the access key extracted from the plurality of access keys by the voice recognition server 200 from the information output device based on the input string corresponding to the voice input of the above and the plurality of search strings, and the data. The output unit 313 extracts the output data set corresponding to the access key from the data storage unit 311 that stores the plurality of access keys and the plurality of output data sets in association with each other, and outputs the data set to the information output device 100. And, including.

図8に示すように、情報管理サーバ300は、まずステップS21を実行する。ステップS21では、データ記憶部311の出力用データベースが更新されたか否かを検索用データ生成部314が確認する。 As shown in FIG. 8, the information management server 300 first executes step S21. In step S21, the search data generation unit 314 confirms whether or not the output database of the data storage unit 311 has been updated.

ステップS21においてデータ記憶部311の出力用データベースが更新されたと判定した場合、情報管理サーバ300はステップS22,S23を実行する。ステップS22では、検索用データ生成部314が、出力用データベース320のうち、各レコード321の出力用データセット324を除いた部分を複製して検索用データベースを生成する。ステップS23では、検索用データ生成部314が、ステップS22で生成した検索用データベースを音声認識サーバ200に出力する。これに応じ、音声認識サーバ200の検索用データ更新部217が、取得した検索用データベースに基づいて検索用データ記憶部211の検索用データベースを更新する。 When it is determined in step S21 that the output database of the data storage unit 311 has been updated, the information management server 300 executes steps S22 and S23. In step S22, the search data generation unit 314 duplicates the portion of the output database 320 excluding the output data set 324 of each record 321 to generate the search database. In step S23, the search data generation unit 314 outputs the search database generated in step S22 to the voice recognition server 200. In response to this, the search data update unit 217 of the voice recognition server 200 updates the search database of the search data storage unit 211 based on the acquired search database.

次に、情報管理サーバ300は、ステップS24を実行する。ステップS21においてデータ記憶部311の出力用データベースが更新されていないと判定した場合、情報管理サーバ300は、ステップS22,S23を実行することなくステップS24を実行する。ステップS24では、アクセスキー取得部312が、情報出力装置100からアクセスキーが出力されているかを確認する。 Next, the information management server 300 executes step S24. If it is determined in step S21 that the output database of the data storage unit 311 has not been updated, the information management server 300 executes step S24 without executing steps S22 and S23. In step S24, the access key acquisition unit 312 confirms whether the access key is output from the information output device 100.

ステップS24において情報出力装置100からアクセスキーが出力されていると判定した場合、情報管理サーバ300はステップS25,S26,S27を実行する。ステップS25では、アクセスキー取得部312が、情報出力装置100から出力されたアクセスキーを取得する。ステップS26では、データ出力部313が、ステップS25で取得したアクセスキーに対応する出力用データセットをデータ記憶部311の出力用データベースから抽出する。ステップS27では、データ出力部313が、ステップS26で抽出した出力用データセットを情報出力装置100に出力する。 If it is determined in step S24 that the access key has been output from the information output device 100, the information management server 300 executes steps S25, S26, and S27. In step S25, the access key acquisition unit 312 acquires the access key output from the information output device 100. In step S26, the data output unit 313 extracts the output data set corresponding to the access key acquired in step S25 from the output database of the data storage unit 311. In step S27, the data output unit 313 outputs the output data set extracted in step S26 to the information output device 100.

その後、情報管理サーバ300は処理をステップS21に戻す。ステップS24において情報出力装置100からアクセスキーが出力されていないと判定した場合、情報管理サーバ300は、ステップS25,S26,S27を実行することなく処理をステップS21に戻す。以後、出力用データベースの更新に応じた検索用データベースの生成・出力と、アクセスキーの取得に応じた出力用データセットの抽出・出力とが繰り返される。 After that, the information management server 300 returns the process to step S21. If it is determined in step S24 that the access key has not been output from the information output device 100, the information management server 300 returns the process to step S21 without executing steps S25, S26, and S27. After that, the generation / output of the search database according to the update of the output database and the extraction / output of the output data set according to the acquisition of the access key are repeated.

以上でデータ出力手順が完了する。各ステップの実行順序は適宜変更可能である。例えば、ステップS24,S25,S26,S27を、ステップS21,S22,S23と並行して実行してもよく、ステップS21,S22,S23に先行して実行してもよい。 This completes the data output procedure. The execution order of each step can be changed as appropriate. For example, steps S24, S25, S26, and S27 may be executed in parallel with steps S21, S22, and S23, or may be executed prior to steps S21, S22, and S23.

〔本実施形態の効果〕
以上に説明したように、情報出力装置100は、ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバ200に出力する音声データ出力部111と、入力音声データに対応するアクセスキーを音声認識サーバ200から取得して情報管理サーバ300に出力するアクセスキー出力部112と、アクセスキーに対応する出力用データセットを情報管理サーバ300から取得するデータ取得部113と、出力用データセットに基づく情報をユーザインタフェースに出力する情報出力部114と、を備える。
[Effect of this embodiment]
As described above, the information output device 100 voices the voice data output unit 111 that outputs the input voice data corresponding to the voice input to the user interface to the voice recognition server 200, and the access key corresponding to the input voice data. Based on the access key output unit 112 that acquires from the recognition server 200 and outputs it to the information management server 300, the data acquisition unit 113 that acquires the output data set corresponding to the access key from the information management server 300, and the output data set. It includes an information output unit 114 that outputs information to a user interface.

この情報出力装置100によれば、出力用データセットを音声認識サーバ200とは別の情報管理サーバ300に保持しつつ、音声認識サーバ200における音声認識を利用して情報管理サーバ300から出力用データセットを取得して出力することができる。従って、音声入力に従った情報出力の利便性と、データ保護との両立に有効である。 According to this information output device 100, while holding the output data set in the information management server 300 different from the voice recognition server 200, the output data is output from the information management server 300 by using the voice recognition in the voice recognition server 200. You can get the set and output it. Therefore, it is effective in achieving both convenience of information output according to voice input and data protection.

情報出力装置100は、入力音声データに対応する応答音声データを音声認識サーバ200から取得する音声データ取得部115と、応答音声データに対応する音声応答をユーザインタフェースに再生させる音声再生部116と、を更に備えていてもよい。この場合、情報出力部114による情報の出力と、音声再生部116による音声応答の再生とを組み合わせることによって、音声入力に従った情報出力の利便性を更に向上させることができる。 The information output device 100 includes a voice data acquisition unit 115 that acquires response voice data corresponding to input voice data from the voice recognition server 200, and a voice reproduction unit 116 that causes a user interface to reproduce a voice response corresponding to the response voice data. May be further provided. In this case, by combining the output of information by the information output unit 114 and the reproduction of the voice response by the voice reproduction unit 116, the convenience of information output according to the voice input can be further improved.

情報出力システム1は、情報出力装置100と、情報管理サーバ300と、を備え、情報管理サーバ300は、複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶するデータ記憶部311と、情報出力装置100から取得したアクセスキーに対応する出力用データセットをデータ記憶部311から抽出して情報出力装置100に出力するデータ出力部313と、を有する。情報管理サーバ300は、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを音声認識サーバ200に出力する検索用データ生成部314を更に備え、アクセスキー出力部112は、入力音声データに対応する入力ストリングと複数の検索用ストリングとに基づき複数のアクセスキーから抽出されたアクセスキーを音声認識サーバ200から取得してもよい。この場合、情報管理サーバ300において、複数の出力用データセットの内容に基づき検索用データベースを適切に構築し、音声認識サーバ200に出力することができる。これにより、音声認識サーバ200による音声認識をより有効に活用し、音声入力に従った情報出力の利便性を更に向上させることができる。 The information output system 1 includes an information output device 100 and an information management server 300, and the information management server 300 stores a plurality of access keys and a plurality of output data sets in association with each other. And a data output unit 313 that extracts an output data set corresponding to the access key acquired from the information output device 100 from the data storage unit 311 and outputs the data set to the information output device 100. The information management server 300 further includes a search data generation unit 314 that outputs a search database in which a plurality of access keys and a plurality of search strings are associated with each other to the voice recognition server 200, and the access key output unit 112 includes a search data generation unit 112. The access key extracted from the plurality of access keys based on the input string corresponding to the input voice data and the plurality of search strings may be acquired from the voice recognition server 200. In this case, the information management server 300 can appropriately construct a search database based on the contents of a plurality of output data sets and output the search database to the voice recognition server 200. As a result, the voice recognition by the voice recognition server 200 can be utilized more effectively, and the convenience of information output according to the voice input can be further improved.

以上、実施形態について説明したが、本開示は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。 Although the embodiments have been described above, the present disclosure is not necessarily limited to the above-described embodiments, and various changes can be made without departing from the gist thereof.

1…情報出力システム、100…情報出力装置、111…音声データ出力部、112…アクセスキー出力部、113…データ取得部、114…情報出力部、115…音声データ取得部、116…音声再生部、200…音声認識サーバ、300…情報管理サーバ、311…データ記憶部、312…アクセスキー取得部、313…データ出力部、314…検索用データ生成部。 1 ... Information output system, 100 ... Information output device, 111 ... Voice data output unit, 112 ... Access key output unit, 113 ... Data acquisition unit, 114 ... Information output unit, 115 ... Voice data acquisition unit, 116 ... Voice playback unit , 200 ... Voice recognition server, 300 ... Information management server, 311 ... Data storage unit, 312 ... Access key acquisition unit, 313 ... Data output unit, 314 ... Search data generation unit.

Claims (5)

情報出力装置と、
情報管理サーバと、を備え、
前記情報出力装置は、
ユーザインタフェースへの音声入力に対応する入力音声データを音声認識サーバに出力する音声データ出力部と、
前記入力音声データに対応するアクセスキーを前記音声認識サーバから取得して前記情報管理サーバに出力するアクセスキー出力部と、
前記アクセスキーに対応する出力用データセットを前記情報管理サーバから取得するデータ取得部と、
前記出力用データセットに基づく情報を前記ユーザインタフェースに出力する情報出力部と、を有し、
前記情報管理サーバは、
複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶するデータ記憶部と、
前記情報出力装置から取得したアクセスキーに対応する出力用データセットをデータ記憶部から抽出して前記情報出力装置に出力するデータ出力部と、を有する、情報出力システム
Information output device and
Equipped with an information management server
The information output device is
A voice data output unit that outputs input voice data corresponding to voice input to the user interface to a voice recognition server,
An access key output unit for outputting an access key corresponding to the input speech data to the information management server acquires from the voice recognition server,
A data acquisition unit that acquires an output data set corresponding to the access key from the information management server, and
It has an information output unit that outputs information based on the output data set to the user interface .
The information management server
A data storage unit that stores multiple access keys and multiple output data sets in association with each other,
The output data set corresponding to the access key acquired from the information output device extracts from the data storage unit having a data output section that outputs to the information output apparatus, an information output system.
前記情報出力装置は、
前記入力音声データに対応する応答音声データを前記音声認識サーバから取得する音声データ取得部と、
前記応答音声データに対応する音声応答を前記ユーザインタフェースに再生させる音声再生部と、を更に有する、請求項1記載の情報出力システム
The information output device is
A voice data acquisition unit that acquires response voice data corresponding to the input voice data from the voice recognition server, and
Wherein the response voice reproduction portion for reproducing the voice response to said user interface corresponding to the audio data, that further having a claim 1 information output system according.
前記情報管理サーバは、複数の前記アクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを前記音声認識サーバに出力する検索用データ生成部を更に備え、
前記アクセスキー出力部は、前記入力音声データに対応する入力ストリングと複数の前記検索用ストリングとに基づき前記複数のアクセスキーから抽出されたアクセスキーを前記音声認識サーバから取得する、請求項1又は2記載の情報出力システム。
The information management server further includes a search data generation unit that outputs a search database in which a plurality of the access keys and a plurality of search strings are associated with each other to the voice recognition server.
The access key output unit obtains an access key extracted from the plurality of access keys based on the input string corresponding to the input voice data and the plurality of search strings from the voice recognition server, claim 1 or 2 The information output system described.
複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶するデータ記憶部と、
前記複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを生成して音声認識サーバに出力する検索用データ生成部と、
情報出力装置への音声入力に対応する入力ストリングと複数の検索用ストリングとに基づき、前記音声認識サーバにより複数のアクセスキーから抽出されたアクセスキーを前記情報出力装置から取得するアクセスキー取得部と、
前記アクセスキーに対応する出力用データセットを前記データ記憶部から抽出して前記情報出力装置に出力するデータ出力部と、を備えるサーバ装置。
A data storage unit that stores multiple access keys and multiple output data sets in association with each other,
A search data generation unit that generates a search database in which the plurality of access keys and a plurality of search strings are associated with each other and outputs the search database to a voice recognition server.
An access key acquisition unit that acquires an access key extracted from a plurality of access keys by the voice recognition server based on an input string corresponding to voice input to the information output device and a plurality of search strings. ,
A server device including a data output unit that extracts an output data set corresponding to the access key from the data storage unit and outputs the data set to the information output device.
検索用データ生成部が、複数のアクセスキーと複数の検索用ストリングとをそれぞれ対応付けた検索用データベースを生成して音声認識サーバに出力することと、
情報出力装置への音声入力に対応する入力ストリングと前記複数の検索用ストリングとに基づき、前記音声認識サーバにより前記複数のアクセスキーから抽出されたアクセスキーをアクセスキー取得部が前記情報出力装置から取得することと、
データ出力部が、前記複数のアクセスキーと複数の出力用データセットとをそれぞれ対応付けて記憶する記憶部から前記アクセスキーに対応する出力用データセットを抽出して前記情報出力装置に出力することと、を含むデータ出力方法。
The search data generator generates a search database in which a plurality of access keys and a plurality of search strings are associated with each other and outputs the database to the voice recognition server.
Based on the input string corresponding to the voice input to the information output device and the plurality of search strings, the access key acquisition unit obtains the access key extracted from the plurality of access keys by the voice recognition server from the information output device. To get and
The data output unit extracts the output data set corresponding to the access key from the storage unit that stores the plurality of access keys and the plurality of output data sets in association with each other, and outputs the data set to the information output device. And, including data output methods.
JP2020070440A 2020-04-09 2020-04-09 Information output device, information output system, information output method, program, server device and data output method Active JP6786001B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020070440A JP6786001B1 (en) 2020-04-09 2020-04-09 Information output device, information output system, information output method, program, server device and data output method
JP2020149998A JP6786005B1 (en) 2020-04-09 2020-09-07 Information output device, information output system, information output method, program, server device and data output method
RU2021108323A RU2764215C1 (en) 2020-04-09 2021-03-29 Information output device, information output system, information output method, server device and data output method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020070440A JP6786001B1 (en) 2020-04-09 2020-04-09 Information output device, information output system, information output method, program, server device and data output method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020149998A Division JP6786005B1 (en) 2020-04-09 2020-09-07 Information output device, information output system, information output method, program, server device and data output method

Publications (2)

Publication Number Publication Date
JP6786001B1 true JP6786001B1 (en) 2020-11-18
JP2021168013A JP2021168013A (en) 2021-10-21

Family

ID=73219972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020070440A Active JP6786001B1 (en) 2020-04-09 2020-04-09 Information output device, information output system, information output method, program, server device and data output method

Country Status (1)

Country Link
JP (1) JP6786001B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5886103B2 (en) * 2012-03-27 2016-03-16 ヤフー株式会社 Response generation apparatus, response generation system, response generation method, and response generation program
US9978368B2 (en) * 2014-09-16 2018-05-22 Mitsubishi Electric Corporation Information providing system
JP6033927B1 (en) * 2015-06-24 2016-11-30 ヤマハ株式会社 Information providing system and information providing method

Also Published As

Publication number Publication date
JP2021168013A (en) 2021-10-21

Similar Documents

Publication Publication Date Title
JP6592583B1 (en) Method and apparatus for information exchange
JP2010078979A (en) Voice recording device, recorded voice retrieval method, and program
CN105701122B (en) Log collection method, device and system
CN109376552A (en) A kind of evidence collection method and system for depositing card based on block chain
WO2016119370A1 (en) Method and device for implementing sound recording, and mobile terminal
JP5750946B2 (en) Content distribution system, content distribution server, content distribution method, program, and recording medium
WO2022160669A1 (en) Audio processing method and audio processing apparatus
JP6786001B1 (en) Information output device, information output system, information output method, program, server device and data output method
JP6786005B1 (en) Information output device, information output system, information output method, program, server device and data output method
CN113051902B (en) Voice data desensitization method, electronic device and computer-readable storage medium
WO2013089202A1 (en) Language teaching material customization system, language teaching material customization method, and storage medium
JP2002116935A (en) Information processing apparatus and method, and program storage medium
JP5788032B2 (en) Output sharing terminal, content sharing attribute management server, output sharing method, program for output sharing terminal
CN113571032B (en) Audio data transmission method, device, computer equipment and storage medium
JP6627315B2 (en) Information processing apparatus, information processing method, and control program
JP7180687B2 (en) Processing system, processing method and program
JP2009157774A (en) Transcription text creation support device and transcription text creation support program
JP2021136459A (en) Voice communication device, communication terminal, and voice communication system
JP7770605B1 (en) Time stamp generation method, system, device, and program
US20170213042A1 (en) Data encryption method and encryption apparatus
JP5545770B2 (en) Telephone system, telephone terminal, and telephone system control method
JP2006094260A (en) Call recording device and call recording system
CN104683398A (en) Cross-browser voice alarm implementation method and system
CN102148823B (en) Reproduction device and reproduction system
JP2007199574A (en) Music reproducing apparatus and music telop retrieval server

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200511

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6786001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250