[go: up one dir, main page]

WO2020036188A1 - 学習データ生成装置、学習データ生成方法およびプログラム - Google Patents

学習データ生成装置、学習データ生成方法およびプログラム Download PDF

Info

Publication number
WO2020036188A1
WO2020036188A1 PCT/JP2019/031929 JP2019031929W WO2020036188A1 WO 2020036188 A1 WO2020036188 A1 WO 2020036188A1 JP 2019031929 W JP2019031929 W JP 2019031929W WO 2020036188 A1 WO2020036188 A1 WO 2020036188A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
learning data
scene
unit
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/031929
Other languages
English (en)
French (fr)
Inventor
節夫 山田
喜昭 野田
隆明 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/268,469 priority Critical patent/US11955111B2/en
Priority to JP2020537089A priority patent/JP6993604B2/ja
Publication of WO2020036188A1 publication Critical patent/WO2020036188A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a learning data generating apparatus and a learning data generating method for generating learning data used for creating an estimation model for estimating whether or not an utterance in a dialogue between a plurality of speakers is a specific type of utterance. And about the program.
  • utterance type the type of utterance
  • an estimation model for estimating whether or not the utterance is a specific type of utterance.
  • Such an estimation model is prepared by preparing learning data in which teacher data indicating whether or not the utterance is a specific type of utterance is added to the utterance and machine learning using the learning data. (See Non-Patent Documents 1 and 2).
  • learning data is provided to the utterance with teacher data indicating whether the utterance is the subject utterance, and a machine using the learning data is prepared.
  • teacher data indicating whether the utterance is the subject utterance
  • a machine using the learning data is prepared.
  • an estimation model of the subject utterance can be created.
  • the assignment of the teacher data as described above is generally performed manually.
  • teacher data indicating whether or not the utterance is a subject utterance is given to an utterance in a dialogue by an operator.
  • the utterance type differs depending on the scene in the dialogue in which each utterance was performed (hereinafter, referred to as “response scene”).
  • teacher data is manually added as in the related art
  • a worker sometimes gives different teacher data to similar utterances in consideration of utterance contents before and after. For example, for a certain utterance, teacher data indicating that the utterance is a subject utterance is provided, and for another utterance similar to the utterance, teacher data indicating that the utterance is not the subject utterance is provided. is there.
  • teacher data indicating that the utterance is not the subject utterance is provided.
  • An object of the present invention which has been made in view of the above problems, is to provide a learning data generation device, a learning data generation method, and a program that can improve the accuracy of estimating the type of utterance in a dialogue.
  • a learning data generation device includes learning data used for creating an estimation model for estimating whether an utterance in a dialogue by a plurality of speakers is an utterance of a specific type.
  • a learning data generating apparatus for generating, based on information indicating a response scene, which is a scene in which the utterance in the dialogue is performed, given to the utterance in the dialogue by a plurality of speakers,
  • a allocating unit for allocating whether or not learning data is to be generated, wherein the allocating unit is configured to convert an utterance of a response scene including an utterance similar to the specific type of utterance into an object for generating the learning data.
  • the learning data generation method is used for creating an estimation model for estimating whether or not an utterance in a conversation between a plurality of speakers corresponds to an utterance of a specific type.
  • a learning data generation method in a learning data generation device for generating learning data the information being provided to an utterance in a dialogue by a plurality of speakers and indicating a response scene that is a scene where the utterance was performed in the dialogue.
  • the utterance includes a distribution step of allocating whether or not the learning data is to be generated, in the distribution step, the utterance of the response scene including the utterance similar to the utterance of the specific type , Are excluded from targets for generating the learning data.
  • a program according to the present invention causes a computer to function as the above learning data generation device.
  • the learning data generation device the learning data generation method, and the program according to the present invention, it is possible to improve the accuracy of estimating the type of utterance in a dialogue.
  • FIG. 2 is a diagram illustrating an example of a definition of a learning target for each utterance type, which is held by the distribution unit illustrated in FIG. 1. It is a figure for explaining generation of conventional learning data.
  • FIG. 2 is a diagram for describing generation of learning data by the learning data generation device shown in FIG. 1. It is a figure which shows the example of a structure of the utterance type estimation apparatus which estimates an utterance type by an estimation model.
  • FIG. 6 is a diagram illustrating an example of a distribution definition stored in a distribution definition storage unit illustrated in FIG. 5.
  • FIG. 5 is a diagram illustrating an example of a distribution definition stored in a distribution definition storage unit illustrated in FIG. 5.
  • FIG. 6 is a diagram illustrating an example of a definition of an utterance type to be estimated for each response scene, which is held by an utterance type estimation unit illustrated in FIG. 5.
  • FIG. 6 is a diagram for describing estimation of an utterance type by an utterance type estimation unit illustrated in FIG. 5. It is a figure showing the example of estimation of the conventional utterance type.
  • FIG. 6 is a diagram illustrating an example of utterance type estimation performed by the utterance type estimation device illustrated in FIG. 5.
  • FIG. 1 is a diagram showing a configuration example of a learning data generation device 10 according to an embodiment of the present invention.
  • the learning data generation device 10 according to the present embodiment is for generating learning data used for creating an estimation model for estimating whether or not an utterance in a dialogue between a plurality of speakers is a specific type of utterance. It is.
  • the distribution unit 11 receives the result of speech recognition of the utterance (text-to-speech utterance) to which information indicating the response scene is added.
  • the utterance response scene is a scene where the utterance is performed in a conversation between a plurality of speakers.
  • the utterance response scene is a scene where the utterance is performed in a conversation between a plurality of speakers.
  • the opening scene in which the first greeting is given the "inquiry grasp” to grasp the contents of the customer's inquiry, and the customer in the contact center
  • There are various situations such as “confirmation of contract” for confirming the identity and contract contents, "response” for responding to and responding to the inquiry contents to the customer, and "closing” for giving a final greeting or the like.
  • the information indicating the response scene is provided by, for example, an operator.
  • a speech recognition result (hereinafter, referred to as “unit of speech recognition result”) is output.
  • the information indicating the response scene is given, for example, for each unit of the result of the voice recognition.
  • the processing unit is determined when the silent section continues for a predetermined time or longer.
  • speech recognition is performed in a processing unit including the end of talking about the above-described certain content.
  • the end speech is included in the unit of the speech recognition result.
  • the end-of-speech utterance is detected from the unit of the result of the speech recognition, and information indicating the response scene is added to the end-of-speech unit from the previous end-of-speech utterance to the detected end-of-speech utterance. You may.
  • the detection of the end-of-speech utterance in the unit of the result of the speech recognition is, for example, the utterance corresponding to the divided character string obtained by dividing the character string obtained by converting the utterance into text by speech recognition by punctuation marks, is the end-of-speech utterance.
  • the determination can be performed using a determination model.
  • Such a determination model is based on the utterance corresponding to the utterance corresponding to the divided character string obtained by dividing the transcribed character string at the punctuation mark and the utterance corresponding to the character string obtained by arranging the continuous divided character strings in the utterance order.
  • Puncation marks are assigned to positions corresponding to the silent section. There is a way to do it. Whether to add a period or a reading point is appropriately selected, for example, from the context before and after.
  • Reference 1 describes a method for automatically inserting punctuation marks into speech recognition results. Specifically, Reference 1 describes a method of inserting punctuation marks based on features such as words (appearances), parts of speech, segment boundaries, dependency information on the next segment, and poses.
  • speech recognition is performed by distinguishing the utterances of a plurality of speakers as different channels. Therefore, it can be determined whether or not the conversation has ended based on whether or not the speaker change has occurred. For example, in a dialogue between a customer and a receptionist, after the customer finishes talking about the content to be inquired, the receptionist answers the inquiry, and after the receptionist finishes talking the answer, the customer makes further inquiries.
  • There are many dialogue structures such as performing That is, when the speaker change occurs, the utterance immediately before the speaker change tends to be the end utterance of the speaker before the speaker change occurs. Therefore, the speech from the previous utterance change to the utterance immediately before the current speaker change may be used as a speech end unit, and information indicating the response scene may be added in the speech end unit.
  • the distribution unit 11 performs a determination as to whether or not the utterance is a target for generating learning data, based on the information indicating the response scene given to the utterance.
  • the distribution unit 11 excludes the utterance of the response scene including (possibly including) the utterance similar to the utterance of the specific type (the utterance type of the utterance type to be estimated) from the targets for generating the learning data. .
  • the learning data in which different teacher data is added to the similar utterance is not generated. .
  • the estimation accuracy of an estimation model created using the learning data can be improved.
  • the allocating unit 11 may extract the utterance of the response scene including (possibly including) the utterance of the specific type as the target for generating the learning data.
  • the worker assigns teacher data indicating whether the utterance is a positive example (a specific type of utterance) or a negative example (not a specific type of utterance).
  • Learning data is generated. The generated learning data is stored and used for creating an estimation model of a specific type of utterance.
  • the distribution unit 11 generates learning data in which teacher data indicating that the utterance is not a specific type of utterance is added to the utterance of the response scene that does not include the utterance similar to the specific type of utterance. You may. By doing so, it is possible to automatically generate learning data to which the utterance is not a specific type of utterance, that is, to which negative example teacher data is added.
  • the distribution unit 11 may exclude utterances of the response scene that do not include utterances similar to utterances of a specific type from targets for generating learning data.
  • Whether an utterance of a response scene that does not include an utterance similar to a specific type of utterance is used as a negative example or excluded from learning is, for example, such that the ratio between the number of positive examples and the number of negative examples is the same.
  • the setting can be set in advance at the time of learning.
  • the distribution unit 11 performs the above-described processing for each utterance type (utterance type 1 to utterance type m) to be estimated. By doing so, learning data for creating an estimation model for each utterance type is generated and stored.
  • the subject utterance which is an utterance related to the subject of the dialogue
  • the business utterance indicating the business of the customer the business confirmation utterance for confirming the business of the customer
  • the contract contents of the customer are confirmed.
  • the following describes an example of a contract confirmation utterance, a contract response utterance responding to the confirmation of the contract contents, and a response utterance relating to a response to a customer's business.
  • the distribution unit 11 holds a definition of a learning target for each utterance type, and performs distribution based on the definition.
  • FIG. 2 is a diagram illustrating an example of a definition of a learning target for each utterance type, which is held by the distribution unit 11.
  • the distribution unit 11 includes, for each utterance type to be estimated, a response scene including an utterance of the utterance type to be estimated, and an utterance similar to the utterance to the utterance type to be estimated (possibility of including A definition is provided that defines a response scene and a response scene that does not include an utterance similar to the utterance of the utterance type to be estimated.
  • the allocating unit 11 allocates, based on the definition, whether or not the utterance of each response scene is to be a target for generating learning data.
  • the sorting unit 11 learns the utterance of the response scene “understand inquiry” because the response scene “understand inquiry” is defined as a response scene including the subject utterance. Extract as data generation target. For each extracted utterance, for example, a worker assigns teacher data indicating whether the utterance is a subject utterance or not a subject utterance, and learning data is generated.
  • the distribution unit 11 excludes the utterance of the response scene “correspondence” from the target for generating the learning data.
  • the distribution unit 11 determines that the utterance of the reception scene “contract confirmation” is not the main utterance.
  • the learning data is generated by adding teacher data indicating The allocating unit 11 may exclude the utterance of the response scene “contract confirmation” from the learning data generation target.
  • the definition of the learning target for each utterance type as described above is, for example, defined in advance by an operator and held in the distribution unit 11.
  • the distribution unit 11 calculates the similarity between the utterance of the reception scene including the utterance of the utterance type to be estimated and the utterance of another reception scene, and calculates the utterance of the reception scene including the utterance of the utterance type to be estimated.
  • the utterance of the response scene including the similar utterance may be excluded from the target for generating the learning data.
  • the distribution unit 11 determines the similarity between the utterance of the response scene “understand inquiry” defined as the response scene including the subject utterance and the utterance of another response scene. After the calculation, for example, the utterance of the response scene including the utterance whose similarity is equal to or more than the predetermined value may be excluded from the targets for generating the learning data.
  • a learning data generation method by the learning data generation device 10 according to the present embodiment will be described using an example of generating learning data for creating an estimation model of a subject utterance.
  • teacher data is added by an operator to an utterance in a conversation as in the related art.
  • utterances # 11 to # 22 have been made in the dialogue between the customer and the receptionist.
  • utterances # 11, # 13, # 14, # 16, # 18, and # 21 are customer utterances
  • utterances # 12, # 15, # 17, # 19, # 20, and # 22 are in charge of reception. This is an utterance of a person.
  • Each balloon indicates a unit of the result of the speech recognition.
  • the dialogue between the customer and the agent in FIG. 3 relates to the automobile insurance contracted by the customer. More specifically, in the utterances # 11 to # 16, the contents of the customer's inquiry about the change of the insurance policy are grasped, and in the utterances # 17 to # 19, the confirmation of the customer's contract is performed. From utterance # 20 to utterance # 22, responses are made to customer inquiries (changes to the insurance policy details). Here, it is assumed that similar utterances (“Please change the car insurance”) are made between the utterances # 11 and # 21.
  • the worker determines whether each utterance corresponds to the subject utterance based on the content of each utterance and contexts before and after the utterance. Is given.
  • the utterances # 11 and # 12 relate to a subject in a dialogue between the customer and the agent in charge of "change of the insurance policy details". Therefore, to utterance # 11 and utterance # 12, teacher data indicating that the utterance is a subject utterance, that is, a positive example is added.
  • the utterances # 13 to # 22 are utterances for confirming the inquiry contents, confirming the contract contents, and responding to the inquiry. Therefore, to the utterances # 13 to # 22, teacher data indicating that the utterance is not a subject utterance, that is, a negative example is added.
  • the utterance type is determined based on the content of each utterance and the contexts before and after. For this reason, learning data to which different teacher data is assigned to utterances # 11 and # 21, which are similar utterances, may be generated. When an estimation model is created using such learning data, the estimation accuracy is reduced.
  • the distribution unit 11 performs the distribution according to the definition shown in FIG. Also, in FIG. 4, it is assumed that utterances # 11 to # 22 between the customer and the receptionist have been performed, as in FIG.
  • the contents of the customer's inquiry about the change of the car insurance contract are grasped, and in the utterances # 17 to # 19, the confirmation of the customer's contract is performed.
  • responses to customer inquiries are made. Therefore, the response scene of utterances # 11 to # 16 is "understand inquiry”, the response scene of utterances # 17 to # 19 is "contract confirmation”, and the reception scene of utterances # 20 to # 22 is " Correspondence ".
  • the utterances # 11 to # 22 to which the information indicating the response scene is added are input to the distribution unit 11.
  • the sorting unit 11 sorts, based on information indicating a response scene given to an utterance in a dialogue, whether or not the utterance is to be subjected to learning data generation. Including steps. Specifically, as shown in FIG. 2, the sorting unit 11 defines “response to inquiry” as the response scene including the subject utterance, so that the utterances # 11 to # 16 of the response scene “respond to inquiry” are defined. , As learning data. For example, the worker adds teacher data to the extracted utterances # 11 to # 16 as to whether or not the utterance is a subject utterance.
  • the utterance # 11 and the utterance # 12 relate to the subject of the dialogue between the customer and the agent in charge of "change of the contents of the contract of the car insurance". Therefore, for utterance # 11 and utterance # 12, learning data to which teacher data indicating that the utterance is a subject utterance, that is, a positive example, is generated. For utterances # 13 to # 16, learning data to which teacher data indicating that the utterances are not subject utterances, that is, negative examples, are generated.
  • the sorting unit 11 defines “contract confirmation” as a response scene that does not include an utterance similar to the subject utterance, so that the utterances # 17 to # of the reception scene “contract confirmation” are defined.
  • learning data to which teacher data indicating that the utterance is not a subject utterance, that is, a negative example is added.
  • the assignment unit 11 defines “correspondence” as a response scene including an utterance similar to the subject utterance, so that the utterances # 20 to # 22 of the response scene “correspondence” are Exclude from learning data generation.
  • the utterance of the response scene including (possibly including) the utterance similar to the utterance of the utterance type to be estimated is excluded from the target for generating the learning data, so that the utterance # 11 as the subject utterance is obtained. Similar utterance # 21 is excluded from targets for generating learning data. Therefore, learning data in which different teacher data is added to similar utterances is not generated, and the estimation accuracy of an estimation model created using the learning data can be improved.
  • the distribution unit 11 uses the distribution estimation model learned in advance based on the definition in FIG. 2 to input the utterance, the response scene of the utterance, and the utterance type. Learning data may be generated as a negative example.
  • FIG. 5 is a diagram illustrating a configuration example of the utterance type estimation device 20.
  • the utterance type estimation device 20 shown in FIG. 5 includes a response scene estimation model storage unit 21, a response scene estimation unit 22, a distribution definition storage unit 23, an utterance type estimation distribution unit 24, and an utterance type estimation position extraction rule storage unit. 25, an utterance type estimation unit extraction unit 26, an utterance type estimation model storage unit 27, and an utterance type estimation unit 28.
  • the response scene estimation model storage unit 21 stores a response scene estimation model generated by learning the correspondence between the utterance and the reception scene.
  • a support vector machine (SVM), a deep neural network (DNN), or the like can be used.
  • the response scene estimating unit 22 receives the result of speech recognition of an utterance in a dialogue between a plurality of speakers.
  • the response scene estimation unit 22 receives, for example, a unit of the result of the above-described speech recognition. Further, when the end of the speech is determined with respect to the result of the speech recognition, the utterance of the speech end unit may be input to the response scene estimation unit 22.
  • the response scene estimating unit 22 estimates the response scene of the utterance corresponding to the result of the speech recognition, using the response scene estimation model stored in the response scene estimation model storage unit 21.
  • the response scene estimation unit 22 outputs the utterance and the reception scene of the utterance to the utterance type estimation distribution unit 24.
  • the distribution definition storage unit 23 stores a distribution definition for allocating whether or not the utterance is an utterance type estimation target using an estimation model, based on the response scene of the utterance.
  • FIG. 6 is a diagram showing an example of the distribution definition stored in the distribution definition storage unit 23. As shown in FIG.
  • the distribution definition storage unit 23 stores a distribution definition in which the utterance type, the estimated target response scene, and the non-estimated response scene are associated with each other.
  • the estimation target reception scene is a reception scene used as a positive example or a negative example in the learning data.
  • the non-estimated response scene is a response scene that is used as a negative example in learning data or is excluded from learning.
  • the distribution definition for example, “theme utterance” as the utterance type, “understand inquiry” as the estimation target response scene, “correspondence” as the estimation target response scene, and “contract confirmation” , "Opening,” and "closing.”
  • the distribution definition is generated, for example, based on the definition of the learning target used during learning.
  • the response scenes in which the positive or negative examples are included in the learning data are regarded as the estimation target reception scenes.
  • the response scenes in which only the negative examples are included in the learning data are regarded as the estimation target non-response scenes.
  • the utterance whose response scene is “understand inquiry” is a target to be estimated because the learning data includes a positive example or a negative example, and An utterance whose scene is “contract confirmation”, “correspondence”, “opening”, or “closing” is not an estimation target because only negative examples are included in the learning data.
  • the utterance type estimation distribution unit 24 uses the distribution definition stored in the distribution definition storage unit 23 based on the response scene of the utterance output from the response scene estimation unit 22, and , The utterance type is estimated using the estimation model described later. Specifically, when the response scene of the utterance is the estimation target response scene, the utterance type estimation distribution unit 24 sets the utterance as a target of the utterance type estimation and outputs the utterance to the utterance type estimation unit extraction unit 26. When the response scene of the utterance is a non-estimation response scene, the utterance type estimation distribution unit 24 excludes the utterance from the utterance type estimation target. In this case, the utterance type estimation distributing unit 24 outputs an estimation result indicating that the utterance is not an utterance of the utterance type to be estimated.
  • the utterance type estimation unit extraction rule storage unit 25 stores a rule for extracting a unit for estimating the utterance type from the transcribed utterance.
  • the utterance type estimation unit extraction rule storage unit 25 stores, for example, a rule of extracting an utterance using a period or a final character in the utterance as one unit.
  • the utterance type estimation unit extraction unit 26 outputs the utterance based on the rules stored in the utterance type estimation unit extraction rule storage unit 25 from the utterance that is the target of the utterance type output from the utterance type estimation distribution unit 24.
  • the utterance of the unit for estimating the type is extracted.
  • the utterance type estimation unit extraction unit 26 converts the utterance converted into text output from the utterance type estimation distribution unit 24 into, for example, the last character in a unit of a period or a speech recognition result.
  • the utterance is extracted based on the rule of extracting the utterance as one unit.
  • the utterance type estimation unit extraction unit 26 outputs the utterance of the extracted utterance type estimation unit to the utterance type estimation unit 28.
  • the utterance type estimation model storage unit 27 stores an estimation model for each utterance type created using the learning data generated by the learning data generation device 10.
  • the utterance type estimation model storage unit 27 stores, for example, a subject utterance estimation model for estimating whether or not the utterance type of the utterance is the subject utterance, and a subject utterance for estimating whether or not the utterance type of the utterance is the subject utterance.
  • An estimation model a task confirmation utterance estimation model that estimates whether the utterance type of the utterance is a task confirmation utterance, a contract confirmation utterance estimation model that estimates whether the utterance type of the utterance is a contract confirmation utterance, and And a contract response utterance estimation model for estimating whether or not the utterance type is a contract response utterance.
  • the utterance type estimation unit 28 determines whether or not the utterance corresponding to the utterance type estimation unit output from the utterance type estimation unit extraction unit 26 is the utterance type of the utterance type to be estimated.
  • the estimation is performed using the estimation model of the utterance type of the estimation target stored in 27 and the estimation result is output.
  • the utterance type estimation unit 28 determines whether the utterance corresponding to the unit of the utterance type estimation output from the utterance type estimation unit extraction unit 26 is the subject utterance. Is estimated using the subject utterance estimation model stored in the utterance type estimation model storage unit 27.
  • the utterance type estimating unit 28 estimates the utterance type of the utterance corresponding to the unit of the utterance type estimation output from the utterance type estimating unit extracting unit 18 according to the response scene estimated by the response scene estimating unit 22. May be. Specifically, the utterance type estimating unit 28 may estimate the utterance type for each response scene by using each estimation model stored in the utterance type estimation model storage unit 27.
  • the utterance type estimation unit 28 stores, for each reception scene, the definition of the utterance type for which the utterance of the reception scene is to be estimated. Then, the utterance type estimation unit 28 may estimate whether or not the utterance corresponds to the utterance of the utterance type corresponding to the reception scene, based on the reception scene of the utterance estimated by the reception scene estimation unit 22. . For example, when the response scene of the utterance is “understand inquiry”, the utterance type estimating unit 28 determines, based on the definition shown in FIG.
  • the subject utterance estimation model, the utterance estimation model, and the The utterance type of the utterance corresponding to the utterance type estimation unit output from the utterance type estimation unit extraction unit 26 is estimated using the confirmation utterance estimation model.
  • the utterance type estimating unit 28 estimates whether or not the utterance type of the utterance corresponding to the unit of the utterance type estimation is the subject utterance using the subject utterance estimation model. Further, the utterance type estimating unit 28 estimates whether or not the utterance type of the utterance corresponding to the unit of the utterance type estimation is a business utterance, using the business utterance estimation model. In addition, the utterance type estimating unit 28 estimates whether or not the utterance type of the utterance corresponding to the unit of the utterance type estimation is the task confirmation utterance, using the task confirmation utterance estimation model.
  • the utterance type estimating unit 28 uses the contract confirmation utterance estimation model and the contract response utterance estimation Dell as shown in FIG. 8 based on the definition shown in FIG. Then, the utterance type of the utterance corresponding to the utterance type estimation unit output from the utterance type estimation unit extraction unit 26 is estimated. Specifically, the utterance type estimation unit 28 estimates whether or not the utterance type of the utterance corresponding to the unit of the utterance type estimation is the contract confirmation utterance, using the contract confirmation utterance estimation model. In addition, the utterance type estimating unit 28 estimates whether or not the utterance type of the utterance corresponding to the unit of the utterance type estimation is the contract response utterance, using the contract response utterance estimation model.
  • the utterance type estimation unit 28 does not estimate the utterance type of the utterance based on the definition illustrated in FIG. 7 as illustrated in FIG.
  • FIG. 9 illustrates an example of estimating the subject utterance.
  • the utterance type is estimated without estimating the response scene, it is estimated for each of the utterances # 11 to # 22 whether or not the utterance is a subject utterance.
  • the utterances # 11 and # 12 are the subject utterances. Therefore, as shown in FIG. 9, it is assumed that utterance # 11 and utterance # 12 are estimated to be thematic utterances.
  • utterance # 11 and utterance # 21 are similar.
  • the utterance # 21 is an utterance for responding to a customer inquiry, and is not a subject utterance. However, since the utterance # 21 is similar to the utterance # 11 which is the subject utterance, the utterance # 21 may be erroneously estimated as the subject utterance.
  • the response scene is estimated for each of the utterances # 11 to # 22 as shown in FIG. Since the subject response scene of the subject utterance estimation is “understand inquiry” (see FIG. 6), the utterances # 11 to # 16 of the response scene “understand inquiry” are subjected to the subject utterance using the subject utterance estimation model. An estimation is made as to whether there is.
  • the utterances # 11 to # 16 are converted into the utterances with high accuracy by the theme utterance estimation model. It can be estimated whether or not there is.
  • utterances of the response scenes (“contract confirmation” and “response”) other than the response scene “understand inquiry” are presumed to be not the subject utterance without performing estimation using the subject utterance estimation model. Therefore, it is correctly estimated that the utterance # 21 included in the response scene “correspondence” is not the subject utterance.
  • the learning data generation device 10 determines whether an utterance is to be subjected to learning data generation based on a response scene of the utterance added to the utterance in the dialogue by a plurality of speakers. And a distribution unit 11 for performing the distribution.
  • the allocating unit 11 excludes the utterance of the response scene including the utterance similar to the utterance of the specific type from the target for generating the learning data.
  • a computer may be used to function as the learning data generation device 10.
  • Such a computer stores a program describing processing contents for realizing each function of the learning data generation device 10 in a storage unit of the computer, and reads and executes the program by a CPU of the computer. Can be realized.
  • the program may be recorded on a computer-readable recording medium.
  • a recording medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be a recording medium such as a CD-ROM and a DVD-ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

対話における発話の種別の推定精度の向上を図る。本発明に係る学習データ生成装置（１０）は、複数の話者による対話における発話に付与された、対話における発話が行われた場面である応対シーンを示す情報に基づき、発話を、学習データを生成する対象とするか否かの振り分けを行う振り分け部（１１）を備え、振り分け部（１１）は、特定の種別の発話に類似する発話を含む応対シーンの発話を、学習データを生成する対象から除外する。

Description

学習データ生成装置、学習データ生成方法およびプログラム
　本発明は、複数の話者による対話における発話が、特定の種別の発話であるか否かを推定する推定モデルの作成に用いられる学習データを生成するための学習データ生成装置、学習データ生成方法およびプログラムに関する。
　例えば、コンタクトセンタにおける顧客と応対担当者との対話から、応対履歴を作成し、管理することが望まれている。このような応対履歴を作成するためには、対話における発話から要点を抽出することが重要であり、発話から要点を抽出するためには、発話の種別（以下、「発話種別」と称する）を推定することが重要である。
　発話種別を推定する方法としては、発話が特定の種別の発話であるか否かを推定する推定モデルを用いる方法がある。このような推定モデルは、発話に対して、その発話が特定の種別の発話であるか否かを示す教師データを付与した学習データを用意し、その学習データを用いた機械学習により作成することができる（非特許文献１，２参照）。
　例えば、対話の主題に関する主題発話の推定モデルを作成する場合、発話に対して、その発話が主題発話であるか否か示す教師データを付与した学習データを用意し、その学習データを用いた機械学習により、主題発話の推定モデルを作成することができる。
R.-E. Fan, K.-W. Chang, C.-J. Hsieh, X.-R. Wang, and C.-J. Lin. LIBLINEAR: A library for large linear classification Journal of Machine Learning Research 9(2008), 1871-1874. 坪井祐太、他２名、「深層学習による自然言語処理」、講談社、2017年5月24日、p.32-36
　従来、上述したような教師データの付与は人手により行われるのが一般的であった。例えば、主題発話の推定モデルを作成する場合、対話における発話に対して、その発話が主題発話であるか否かを示す教師データが作業者により付与されていた。
　例えば、コンタクトセンタにおける顧客と応対担当者との対話においては、類似する発話であっても、各発話が行われた対話内での場面（以下、「応対シーン」と称する）によって発話種別が異なることがある。従来のように人手により教師データが付与される場合、作業者が前後の発話内容などを考慮して、類似する発話に対して、異なる教師データを付与することがある。例えば、ある発話に対しては、主題発話であることを示す教師データが付与され、その発話に類似する別の発話に対しては、主題発話ではないことを示す教師データが付与されることがある。類似する発話に対して、異なる教師データが付与された学習データを用いて推定モデルを作成すると、推定精度が低下してしまうという問題がある。
　上記のような問題点に鑑みてなされた本発明の目的は、対話における発話の種別の推定精度の向上を図ることができる学習データ生成装置、学習データ生成方法およびプログラムを提供することにある。
　上記課題を解決するため、本発明に係る学習データ生成装置は、複数の話者による対話における発話が、特定の種別の発話であるか否かを推定する推定モデルの作成に用いられる学習データを生成するための学習データ生成装置であって、複数の話者による対話における発話に付与された、前記対話における前記発話が行われた場面である応対シーンを示す情報に基づき、前記発話を、前記学習データを生成する対象とするか否かの振り分けを行う振り分け部を備え、前記振り分け部は、前記特定の種別の発話に類似する発話を含む応対シーンの発話を、前記学習データを生成する対象から除外する。
　また、上記課題を解決するため、本発明に係る学習データ生成方法は、複数の話者による対話における発話が、特定の種別の発話に該当するか否かを推定する推定モデルの作成に用いられる学習データを生成するための学習データ生成装置における学習データ生成方法であって、複数の話者による対話における発話に付与された、前記対話における前記発話が行われた場面である応対シーンを示す情報に基づき、前記発話を、前記学習データを生成する対象とするか否かの振り分けを行う振り分けステップを含み、前記振り分けステップでは、前記特定の種別の発話に類似する発話を含む応対シーンの発話を、前記学習データを生成する対象から除外する。
　また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを上記の学習データ生成装置として機能させる。
　本発明に係る学習データ生成装置、学習データ生成方法およびプログラムによれば、対話における発話の種別の推定精度の向上を図ることができる。
本発明の一実施形態に係る学習データ生成装置の構成例を示す図である。 図１に示す振り分け部が保持する、発話種別ごとの学習対象の定義の一例を示す図である。 従来の学習データの生成について説明するための図である。 図１に示す学習データ生成装置による学習データの生成について説明するための図である。 推定モデルにより発話種別を推定する発話種別推定装置の構成例を示す図である。 図５に示す振り分け定義記憶部が記憶する振り分け定義の一例を示す図である。 図５に示す発話種別推定部が保持する、応対シーンごとの、推定対象とする発話種別の定義の一例を示す図である。 図５に示す発話種別推定部による発話種別の推定について説明するための図である。 従来の発話種別の推定例を示す図である。 図５に示す発話種別推定装置による発話種別の推定例を示す図である。
　以下、本発明を実施するための形態について、図面を参照しながら説明する。各図中、同一符号は、同一または同等の構成要素を示している。
　図１は、本発明の一実施形態に係る学習データ生成装置１０の構成例を示す図である。本実施形態に係る学習データ生成装置１０は、複数の話者による対話における発話が、特定の種別の発話であるか否かを推定する推定モデルの作成に用いられる学習データを生成するためのものである。
　図１に示す学習データ生成装置１０は、振り分け部１１を備える。
　振り分け部１１は、応対シーンを示す情報が付与された、発話の音声認識の結果（テキスト化された発話）が入力される。発話の応対シーンとは、複数の話者による対話における、その発話が行われた場面である。例えば、コンタクトセンタにおける顧客と応対担当者との対話を例とすると、応対シーンとしては、最初の挨拶などが行われる「オープニング」、顧客の問い合わせ内容を把握する「問い合わせ把握」、顧客が契約者本人であることおよび契約内容を確認する「契約確認」、問い合わせ内容に対する顧客への回答および対応を行う「対応」、および、最後の挨拶などが行われる「クロージング」など種々の場面がある。応対シーンを示す情報は、例えば、作業者により付与される。
　音声認識では、無音区間が所定時間以上継続すると、前回の音声認識の処理単位の最後の発話後、その無音区間の前までの発話が１つの処理単位として音声認識が行われ、その処理単位で音声認識結果（以下、「音声認識の結果の単位」と称する）が出力される。応対シーンを示す情報は、例えば、その音声認識の結果の単位ごとに付与される。
　また、音声認識の結果の単位の中に、話者が伝えたい内容を話し終えた話し終わりが存在することがある。上述したように、音声認識では、無音区間が所定時間以上継続することにより、処理単位が確定される。ここで、例えば、話者がある内容について話し終えた後、間をおかずに、別の内容について話し始めた場合、上述したある内容についての話し終わりを含む処理単位で音声認識が行われ、その結果、音声認識の結果の単位の中に話し終わりの発話が含まれることになる。そこで、音声認識の結果の単位の中から話し終わりの発話を検出し、前回の話し終わりの発話から、検出した話し終わりの発話までの話し終わり単位に対して、応対シーンを示す情報が付与されてもよい。
　音声認識の結果の単位の中での話し終わりの発話の検出は、例えば、発話が音声認識によりテキスト化された文字列を句読点で分割した分割文字列に対応する発話が話し終わりの発話であるか否かを判定する判定モデルを用いて行うことができる。このような判定モデルは、発話がテキスト化された文字列を句読点で分割した分割文字列に対応する発話および連続する分割文字列を発話順に並べた文字列に対応する発話に対して、その発話が話し終わりの発話であるか否かを示す教師データが付与された学習データを用いた機械学習により作成することができる。
　音声認識における句読点の付与の方法としては、例えば、上述した処理単位を確定するために設定される無音区間よりも短い所定時間だけ無音区間が継続すると、その無音区間に対応する位置に句読点を付与するという方法がある。句点が付与されるか、読点が付与されるかは、例えば、前後の文脈などから適宜、選択される。例えば、参考文献１には、音声認識結果への句読点の自動挿入方法が記載されている。具体的には、参考文献１には、単語（出現形）、品詞、分節境界、直後の分節への係り受け情報、およびポーズなどの特徴に基づき、句読点を挿入する方法が記載されている。なお、ある話者の話し終わり後、別の話者が、句読点の付与が決定される無音区間の経過前に話し始めた場合、先の話者の発話の音声認識結果の末尾には、句読点が付与されない場合がある。音声認識結果の末尾には必ず、句読点が付与されるようにすることも可能である。
参考文献１：秋田　祐哉、河原　達也、「講演に対する読点の複数アノテーションに基づく自動挿入」、情報処理学会論文誌、１８８２－７７６５，Ｎｏ．５４、Ｖｏｌ.２、２０１３年
　また、複数の話者それぞれの発話が異なるチャネルとして区別して、音声認識が行われる。そこで、話者交代が起こったか否かにより、話し終わりであるか否かを判定することができる。例えば、顧客と応対担当者との対話においては、顧客が問い合わせたい内容を話し終えた後、応対担当者がその問い合わせに対する回答を行い、応対担当者が回答を話し終えた後、顧客が更に問い合わせを行うといった対話構造が多い。すなわち、話者交代が起こると、その話者交代の直前の発話は、話者交代が起こる前の話者の話し終わりの発話であることが多いという傾向がある。したがって、前回の話者交代の発話以降、今回の話者交代の直前の発話までを話し終わり単位とし、その話し終わり単位で応対シーンを示す情報が付与されてもよい。
　振り分け部１１は、発話に付与された応対シーンを示す情報に基づき、その発話を、学習データを生成する対象とするか否かの振り分けを行う。ここで、振り分け部１１は、特定の種別の発話（推定対象の発話種別の発話）に類似する発話を含む（含む可能性のある）応対シーンの発話を、学習データを生成する対象から除外する。特定の種別の発話に類似する発話を含む応対シーンの発話を、学習データを生成する対象から除外することで、類似する発話に、異なる教師データが付与された学習データが生成されることが無くなる。その結果、その学習データを用いて作成される推定モデルの推定精度の向上を図ることができる。
　また、振り分け部１１は、特定の種別の発話を含む（含む可能性のある）応対シーンの発話を、学習データを生成する対象として抽出してもよい。抽出された発話に対して、例えば、作業者により、正例であるか（特定の種別の発話である）、負例であるか（特定の種別の発話ではない）を示す教師データが付与され、学習データが生成される。生成された学習データは記憶され、特定の種別の発話の推定モデルの作成に用いられる。
　また、振り分け部１１は、特定の種別の発話に類似する発話を含まない応対シーンの発話に対して、その発話が特定の種別の発話ではないことを示す教師データを付与した学習データを生成してもよい。こうすることで、発話に対して、その発話が特定の種別の発話ではない、すなわち、負例の教師データが付与された学習データを自動的に生成することができる。また、振り分け部１１は、特定の種別の発話に類似する発話を含まない応対シーンの発話を、学習データを生成する対象から除外してもよい。特定の種別の発話に類似する発話を含まない応対シーンの発話を、負例として利用するか、学習対象外とするかは、例えば、正例数と負例数との割合が同じとなるように調整するなど、学習時に予め定められた設定とすることができる。
　振り分け部１１は、上述した処理を、推定対象の発話種別（発話種別１～発話種別ｍ）ごとに行う。こうすることで、発話種別ごとに推定モデルを作成するための学習データが生成され、記憶される。
　次に、振り分け部１１による、応対シーンに応じた振り分けについて、より詳細に説明する。以下では、コンタクトセンタにおける顧客と応対担当者との対話を例とする。また、以下では、応対シーンとして、顧客の問い合わせ内容を把握する「問い合わせ把握」、顧客が契約者本人であることおよび契約内容を確認する「契約確認」、顧客の問い合わせ内容に対する顧客への回答および対応を行う「対応」を例として説明する。また、以下では、推定対象の発話種別として、対話の主題に関する発話である主題発話、顧客の用件を示す用件発話、顧客の用件を確認する用件確認発話、顧客の契約内容を確認する契約確認発話、契約内容の確認に対して応答する契約応答発話、および、顧客の用件への対応に関する対応発話を例として説明する。
　振り分け部１１は、発話種別ごとの学習対象の定義を保持しており、その定義に基づき、振り分けを行う。図２は、振り分け部１１が保持する、発話種別ごとの学習対象の定義の一例を示す図である。
　図２に示すように、振り分け部１１は、推定対象の発話種別ごとに、推定対象の発話種別の発話を含む応対シーン、推定対象の発話種別の発話と類似する発話を含む（含む可能性のある）応対シーン、および、推定対象の発話種別の発話と類似する発話を含まない応対シーンを規定した定義を保持している。振り分け部１１は、この定義に基づき、各応対シーンの発話を、学習データを生成する対象とするか否かの振り分けを行う。
　例えば、推定対象の発話種別が主題発話である場合、振り分け部１１は、応対シーン「問い合わせ把握」は主題発話を含む応対シーンとして定義されているので、応対シーン「問い合わせ把握」の発話を、学習データを生成する対象として抽出する。抽出された発話それぞれに対して、例えば、作業者により、主題発話であるか、主題発話ではないかを示す教師データが付与され、学習データが生成される。また、振り分け部１１は、応対シーン「対応」は、主題発話と類似する発話を含む応対シーンとして定義されているので、応対シーン「対応」の発話を、学習データを生成する対象から除外する。また、振り分け部１１は、応対シーン「契約確認」は、主題発話と類似する発話を含まない応対シーンとして定義されているので、応対シーン「契約確認」の発話に対して、主題発話ではないことを示す教師データを付与して学習データを生成する。なお、振り分け部１１は、応対シーン「契約確認」の発話を、学習データの生成の対象から除外してもよい。
　上述したような、発話種別ごとの学習対象の定義は、例えば、予め作業者により定義され、振り分け部１１に保持される。
　また、振り分け部１１は、推定対象の発話種別の発話を含む応対シーンの発話と、他の応対シーンの発話との類似度を算出し、推定対象の発話種別の発話を含む応対シーンの発話と類似する発話を含む応対シーンの発話を、学習データを生成する対象から除外してもよい。例えば、振り分け部１１は、推定対象の発話種別が主題発話である場合、主題発話を含む応対シーンとして定義された応対シーン「問い合わせ把握」の発話と、他の応対シーンの発話との類似度を算出し、例えば、類似度が所定値以上の発話を含む応対シーンの発話を、学習データを生成する対象から除外してもよい。
　次に、本実施形態に係る学習データ生成装置１０による学習データ生成方法について、主題発話の推定モデルを作成するための学習データを生成する例を用いて説明する。まず、従来のように、対話における発話に対して、作業者により、教師データが付与される場合を例として説明する。
　以下では、図３に示すように、顧客と応対担当者との対話において、発話＃１１～発話＃２２が行われたものとする。図３では、発話＃１１，＃１３，＃１４，＃１６，＃１８，＃２１は顧客の発話であり、発話＃１２，＃１５，＃１７，＃１９，＃２０，＃２２は応対担当者の発話であることを示している。また、各吹き出しは、音声認識の結果の単位を示す。
　図３に示す顧客と応対担当者との対話は、顧客が契約している自動車保険に関するものである。より具体的には、発話＃１１～発話＃１６では、自動車保険の契約内容の変更という顧客の問い合わせ内容の把握が行われ、発話＃１７～発話＃１９では、顧客の契約に関する確認が行われ、発話＃２０～発話＃２２では、顧客の問い合わせ（自動車保険の契約内容の変更）に対する対応が行われている。ここで、発話＃１１と発話＃２１とで、類似する発話（「自動車保険の変更をお願いします」）が行われたとする。
　作業者により各発話に対して教師データが付与される場合、作業者は、各発話の内容および前後の文脈などに基づき、各発話が主題発話に該当するか否かを判断して、教師データを付与する。図３の例では、発話＃１１および発話＃１２は、「自動車保険の契約内容の変更」という、顧客と応対担当者との対話における主題に関するものである。したがって、発話＃１１および発話＃１２に対しては、主題発話である、すなわち、正例であることを示す教師データが付与される。また、発話＃１３～発話＃２２は、問い合わせ内容の確認、契約内容の確認、および、問い合わせに対する対応などのための発話である。したがって、発話＃１３～発話＃２２に対しては、主題発話ではない、すなわち、負例であることを示す教師データが付与される。
　ここで、人手による教師データの付与の場合、上述したように、各発話の内容および前後の文脈などに基づき、発話種別が判断される。そのため、類似する発話である発話＃１１と発話＃２１とで異なる教師データが付与された学習データが生成されることがある。このような学習データを用いて推定モデルを作成すると、推定精度が低下してしまう。
　次に、本実施形態に係る学習データ生成装置１０における学習データ生成方法について、図４を参照して説明する。なお、図４においては、振り分け部１１は、図２に示す定義に従い、振り分けを行うものとする。また、図４においては、図３と同じように、顧客と応対担当者との発話＃１１～発話＃２２が行われたものとする。
　上述したように、発話＃１１～発話＃１６では、自動車保険の契約内容の変更という顧客の問い合わせ内容の把握が行われ、発話＃１７～発話＃１９では、顧客の契約に関する確認が行われ、発話＃２０～発話＃２２では、顧客の問い合わせ（自動車保険の契約内容の変更）に対する対応が行われている。したがって、発話＃１１～発話＃１６の応対シーンは「問い合わせ把握」であり、発話＃１７～発話＃１９の応対シーンは「契約確認」であり、発話＃２０～発話＃２２の応対シーンは「対応」である。振り分け部１１には、応対シーンを示す情報が付与された発話＃１１～発話＃２２が入力される。
　本実施形態に係る学習データ生成方法は、振り分け部１１が、対話における発話に付与された応対シーンを示す情報に基づき、発話を、学習データを生成する対象とするか否かの振り分けを行う振り分けステップを含む。具体的には、振り分け部１１は、図２に示すように、主題発話を含む応対シーンとして「問い合わせ把握」が定義されているので、応対シーン「問い合わせ把握」の発話＃１１～発話＃１６を、学習データを生成する対象として抽出する。抽出された発話＃１１～発話＃１６に対して、例えば、作業者により、主題発話であるか否かの教師データが付与される。上述したように、発話＃１１および発話＃１２は、「自動車保険の契約内容の変更」という、顧客と応対担当者との対話における主題に関するものである。したがって、発話＃１１および発話＃１２に対しては、主題発話である、すなわち、正例であることを示す教師データが付与された学習データが生成される。また、発話＃１３～発話＃１６に対しては、主題発話ではない、すなわち、負例であることを示す教師データが付与された学習データが生成される。
　また、振り分け部１１は、図２に示すように、主題発話と類似する発話を含まない応対シーンとして「契約確認」が定義されているので、応対シーン「契約確認」の発話＃１７～発話＃１９の発話に対して、主題発話ではない、すなわち、負例であることを示す教師データを付与した学習データを生成する。
　また、振り分け部１１は、図２に示すように、主題発話と類似する発話を含む応対シーンとして「対応」が定義されているので、応対シーン「対応」の発話＃２０～発話＃２２を、学習データを生成する対象から除外する。このように、推定対象の発話種別の発話と類似する発話を含む（含む可能性のある）応対シーンの発話を、学習データを生成する対象から除外することで、主題発話である発話＃１１に類似する発話＃２１は、学習データを生成する対象から除外される。そのため、類似する発話に対して異なる教師データが付与された学習データが生成されることが無くなり、学習データを用いて作成される推定モデルの推定精度の向上を図ることができる。また、振り分け部１１は、図２の定義に基づいて予め学習した振り分け推定モデルによって、発話と発話の応対シーン、発話種別の入力に対して、定義に該当する発話種別の教師データ（正例・負例）として学習データを生成してもよい。
　次に、図５を参照して、学習データ生成装置１０により生成された学習データを用いて作成された推定モデルにより発話種別を推定する発話種別推定装置２０について説明する。図５は、発話種別推定装置２０の構成例を示す図である。
　図５に示す発話種別推定装置２０は、応対シーン推定モデル記憶部２１と、応対シーン推定部２２と、振り分け定義記憶部２３と、発話種別推定振り分け部２４と、発話種別推定位抽出ルール記憶部２５と、発話種別推定単位抽出部２６と、発話種別推定モデル記憶部２７と、発話種別推定部２８とを備える。
　応対シーン推定モデル記憶部２１は、発話と応対シーンとの対応を学習することによって生成された応対シーン推定モデルを記憶する。学習には、例えば、サポートベクターマシン（ＳＶＭ）やディープニューラルネット（ＤＮＮ）などを用いることができる。
　応対シーン推定部２２は、複数の話者による対話における発話の音声認識の結果が入力される。応対シーン推定部２２には、例えば、上述した音声認識の結果の単位が入力される。また、音声認識の結果に対して、話し終わり判定が行われる場合には、応対シーン推定部２２には、話し終わり単位の発話が入力されてもよい。応対シーン推定部２２は、応対シーン推定モデル記憶部２１に記憶されている応対シーン推定モデルを用いて、音声認識の結果に対応する発話の応対シーンを推定する。応対シーン推定部２２は、発話と、その発話の応対シーンとを発話種別推定振り分け部２４に出力する。
　振り分け定義記憶部２３は、発話の応対シーンに基づき、その発話を、推定モデルを用いた発話種別の推定対象とするか否かの振り分けを行うための振り分け定義を記憶する。
　図６は、振り分け定義記憶部２３が記憶する振り分け定義の一例を示す図である。
　振り分け定義記憶部２３は、図６に示すように、発話種別と、推定対象応対シーンと、推定対象外応対シーンとを対応付けた振り分け定義を記憶する。推定対象応対シーンとは、学習データにおいて正例または負例として利用する応対シーンである。推定対象外応対シーンとは、学習データにおいて負例として利用する、または、学習対象外とする応対シーンである。
　図６に示した例では、振分け定義において、例えば、発話種別である「主題発話」と、推定対象応対シーンである「問い合わせ把握」と、推定対象外応対シーンである「対応」、「契約確認」、「オープニング」、及び「クロージング」とが対応している。振分け定義は、例えば、学習時に利用した学習対象の定義に基づいて生成される。振分け定義において、学習対象の定義のうち、学習データにおいて正例又は負例が含まれる応対シーンは推定対象応対シーンとされる。振分け定義において、学習対象の定義のうち、学習データに負例のみ含まれる応対シーンは推定対象応対外シーンとされる。例えば、発話は発話種別が「主題発話」であるか否かを推定する場合、応対シーンが「問い合わせ把握」である発話は、学習データに正例又は負例を含むので推定対象であり、応対シーンが「契約確認」、「対応」、「オープニング」、又は「クロージング」である発話は、学習データに負例のみを含むので、推定対象ではない。
　図５を再び参照すると、発話種別推定振り分け部２４は、応対シーン推定部２２から出力された発話の応対シーンに基づき、振り分け定義記憶部２３に記憶されている振り分け定義を用いて、その発話を、後述する推定モデルを用いた発話種別の推定の対象とするか否かを推定する。具体的には、発話種別推定振り分け部２４は、発話の応対シーンが推定対象応対シーンである場合には、その発話を発話種別の推定の対象とし、発話種別推定単位抽出部２６に出力する。また、発話種別推定振り分け部２４は、発話の応対シーンが推定対象外応対シーンである場合には、その発話を発話種別の推定の対象から除外する。この場合、発話種別推定振り分け部２４は、その発話は推定対象の発話種別の発話ではないという推定結果を出力する。
　発話種別推定単位抽出ルール記憶部２５は、テキスト化された発話から発話種別を推定する単位を抽出するためのルールを記憶する。発話種別推定単位抽出ルール記憶部２５は、例えば、句点または発話における最後の文字が出現するまでを１つの単位として発話を抽出するというルールを記憶する。
　発話種別推定単位抽出部２６は、発話種別推定振り分け部２４から出力された、発話種別の推定の対象である発話から、発話種別推定単位抽出ルール記憶部２５に記憶されているルールに基づき、発話種別を推定する単位の発話を抽出する。具体的には、発話種別推定単位抽出部２６は、発話種別推定振り分け部２４から出力された、テキスト化された発話を、例えば、句点または音声認識結果の単位における最後の文字が出現するまでを１つの単位として発話を抽出するというルールに基づき発話を抽出する。発話種別推定単位抽出部２６は、抽出した発話種別の推定の単位の発話を発話種別推定部２８に出力する。
　発話種別推定モデル記憶部２７は、学習データ生成装置１０により生成された学習データを用いて作成された、発話種別ごとの推定モデルを記憶する。発話種別推定モデル記憶部２７は、例えば、発話の発話種別が主題発話であるか否かを推定する主題発話推定モデル、発話の発話種別が用件発話であるか否かを推定する用件発話推定モデル、発話の発話種別が用件確認発話であるか否かを推定する用件確認発話推定モデル、発話の発話種別が契約確認発話であるか否かを推定する契約確認発話推定モデル、および、発話の発話種別が契約応答発話であるか否かを推定する契約応答発話推定モデルなどを記憶する。
　発話種別推定部２８は、発話種別推定単位抽出部２６から出力された発話種別の推定の単位に対応する発話が、推定対象の発話種別の発話であるか否かを、発話種別推定モデル記憶部２７に記憶されている推定対象の発話種別の推定モデルを用いて推定し、推定結果を出力する。例えば、推定対象の発話種別が主題発話である場合、発話種別推定部２８は、発話種別推定単位抽出部２６から出力された発話種別の推定の単位に対応する発話が、主題発話であるか否かを、発話種別推定モデル記憶部２７に記憶されている主題発話推定モデルを用いて推定する。
　また、発話種別推定部２８は、応対シーン推定部２２により推定された応対シーンに応じて、発話種別推定単位抽出部１８から出力された発話種別の推定の単位に対応する発話の発話種別を推定してもよい。具体的には、発話種別推定部２８は、応対シーンごとに、発話種別推定モデル記憶部２７に記憶されている各推定モデルを用いて、発話種別を推定してもよい。
　例えば、発話種別推定部２８は、図７に示すように、応対シーンごとに、その応対シーンの発話を推定対象とする発話種別の定義を記憶している。そして、発話種別推定部２８は、応対シーン推定部２２により推定された発話の応対シーンに基づき、その発話が、応対シーンに対応する発話種別の発話に該当するか否かを推定してもよい。例えば、発話種別推定部２８は、発話の応対シーンが「問い合わせ把握」である場合、図７に示す定義に基づき、図８に示すように、主題発話推定モデル、用件発話推定モデルおよび用件確認発話推定モデルを用いて、発話種別推定単位抽出部２６から出力された発話種別の推定の単位に対応する発話の発話種別を推定する。具体的には、発話種別推定部２８は、主題発話推定モデルを用いて、発話種別の推定の単位に対応する発話の発話種別が主題発話であるか否かを推定する。また、発話種別推定部２８は、用件発話推定モデルを用いて、発話種別の推定の単位に対応する発話の発話種別が用件発話であるか否かを推定する。また、発話種別推定部２８は、用件確認発話推定モデルを用いて、発話種別の推定の単位に対応する発話の発話種別が用件確認発話であるか否かを推定する。
　また、発話種別推定部２８は、発話の応対シーンが「契約確認」である場合、図７に示す定義に基づき、図８に示すように、契約確認発話推定モデルおよび契約応答発話推定デルを用いて、発話種別推定単位抽出部２６から出力された発話種別の推定の単位に対応する発話の発話種別を推定する。具体的には、発話種別推定部２８は、契約確認発話推定モデルを用いて、発話種別の推定の単位に対応する発話の発話種別が契約確認発話であるか否かを推定する。また、発話種別推定部２８は、契約応答発話推定モデルを用いて、発話種別の推定の単位に対応する発話の発話種別が契約応答発話であるか否かを推定する。
　また、発話種別推定部２８は、発話の応対シーンが「対応」である場合、図７に示す定義に基づき、図８に示すように、その発話の発話種別の推定を行わない。
　応対シーンを推定せず、全ての発話に対して発話種別の推定を行う場合、推定結果に誤りが生じる場合がある。このような場合について、図９を参照して説明する。図９では、図３と同様に、顧客と応対担当者との発話＃１１～＃２２が行われたとする。また、図９では、主題発話の推定例として説明する。
　応対シーンを推定せずに発話種別の推定を行う場合、発話＃１１～＃２２それぞれに対して、主題発話であるか否かの推定が行われる。上述したように、発話＃１１および発話＃１２は、主題発話である。したがって、図９に示すように、発話＃１１および発話＃１２は、主題発話であると推定されたとする。ここで、発話＃１１と発話＃２１とは類似している。発話＃２１は、顧客の問い合わせに対する対応の際の発話であり、主題発話ではない。しかしながら、発話＃２１は、主題発話である発話＃１１と類似しているため、主題発話であると誤推定されてしまうことがある。
　一方、図５に示す発話種別推定置２０においては、図１０に示すように、発話＃１１～＃２２それぞれに対して、応対シーンの推定が行われる。そして、主題発話の推定対象応対シーンは「問い合わせ把握」であるため（図６参照）、応対シーン「問い合わせ把握」の発話＃１１～＃１６については、主題発話推定モデルを用いて、主題発話であるか否かの推定が行われる。ここで、本実施形態においては、類似する発話に異なる教師データが付与されないように学習データが生成されているので、主題発話推定モデルにより、高精度に、発話＃１１～＃１６が主題発話であるか否かを推定することができる。また、応対シーン「問い合わせ把握」以外の応対シーン（「契約確認」および「対応」）の発話については、主題発話推定モデルを用いた推定を行うことなく、主題発話ではないと推定される。したがって、応対シーン「対応」に含まれる発話＃２１は主題発話ではないと正しく推定される。
　このように本実施形態においては、学習データ生成装置１０は、複数の話者による対話における発話に付与された、その発話の応対シーンに基づき、発話を、学習データを生成する対象とするか否かの振り分けを行う振り分け部１１を備える。振り分け部１１は、特定の種別の発話に類似する発話を含む応対シーンの発話を、学習データを生成する対象から除外する。
　こうすることで、特定の種別の発話と、その特定の種別の発話に類似する発話とに対して、異なる教師データが付与された学習データが生成されることが無くなる。そのため、学習データを用いて作成される推定モデルの推定精度の向上を図ることができる。
　以上、学習データ生成装置１０について説明したが、学習データ生成装置１０として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、学習データ生成装置１０の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
　また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭなどの記録媒体であってもよい。
　上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１０　　学習データ生成装置
　１１　　振り分け部
　２０　　発話種別推定装置
　２１　　応対シーン推定モデル記憶部
　２２　　応対シーン推定部
　２３　　振り分け定義記憶部
　２４　　発話種別推定振り分け部
　２５　　発話種別推定単位抽出ルール記憶部
　２６　　発話種別推定単位抽出部
　２７　　発話種別推定モデル記憶部
　２８　　発話種別推定部

Claims (7)

  1. 　複数の話者による対話における発話が、特定の種別の発話であるか否かを推定する推定モデルの作成に用いられる学習データを生成するための学習データ生成装置であって、
    　複数の話者による対話における発話に付与された、前記対話における前記発話が行われた場面である応対シーンを示す情報に基づき、前記発話を、前記学習データを生成する対象とするか否かの振り分けを行う振り分け部を備え、
    　前記振り分け部は、前記特定の種別の発話に類似する発話を含む応対シーンの発話を、前記学習データを生成する対象から除外することを特徴とする学習データ生成装置。
  2. 　請求項１に記載の学習データ生成装置において、
    　前記振り分け部は、前記特定の種別の発話を含む応対シーンの発話を、前記学習データを生成する対象として抽出することを特徴とする学習データ生成装置。
  3. 　請求項１または２に記載の学習データ生成装置において、
    　前記振り分け部は、前記特定の種別の発話に類似する発話を含まない応対シーンの発話に対して、該発話が前記特定の種別の発話ではないことを示す教師データを付与した学習データを生成することを特徴とする学習データ生成装置。
  4. 　請求項１から３のいずれか一項に記載の学習データ生成装置において、
    　前記振り分け部は、前記特定の種別の発話を含む応対シーン、前記特定の種別の発話と類似する発話を含む応対シーンおよび前記特定の種別の発話と類似する発話を含まない応対シーンを予め規定した定義を保持しており、該定義に基づき、前記振り分けを行うことを特徴とする学習データ生成装置。
  5. 　請求項１から３のいずれか一項に記載の学習データ生成装置において、
    　前記振り分け部は、前記特定の種別の発話を含む応対シーンの発話と、他の応対シーンの発話との類似度を算出し、前記特定の種別の発話を含む応対シーンの発話と類似する発話を含む応対シーンの発話を、前記学習データを生成する対象から除外することを特徴とする学習データ生成装置。
  6. 　複数の話者による対話における発話が、特定の種別の発話に該当するか否かを推定する推定モデルの作成に用いられる学習データを生成するための学習データ生成装置における学習データ生成方法であって、
    　複数の話者による対話における発話に付与された、前記対話における前記発話が行われた場面である応対シーンを示す情報に基づき、前記発話を、前記学習データを生成する対象とするか否かの振り分けを行う振り分けステップを含み、
    　前記振り分けステップでは、前記特定の種別の発話に類似する発話を含む応対シーンの発話を、前記学習データを生成する対象から除外することを特徴とする学習データ生成方法。
  7. 　コンピュータを請求項１から５のいずれか一項に記載の学習データ生成装置として機能させるためのプログラム。
     
PCT/JP2019/031929 2018-08-15 2019-08-14 学習データ生成装置、学習データ生成方法およびプログラム Ceased WO2020036188A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/268,469 US11955111B2 (en) 2018-08-15 2019-08-14 Learning data generation device, learning data generation method and non-transitory computer readable recording medium
JP2020537089A JP6993604B2 (ja) 2018-08-15 2019-08-14 学習データ生成装置、学習データ生成方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-152889 2018-08-15
JP2018152889 2018-08-15

Publications (1)

Publication Number Publication Date
WO2020036188A1 true WO2020036188A1 (ja) 2020-02-20

Family

ID=69524724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031929 Ceased WO2020036188A1 (ja) 2018-08-15 2019-08-14 学習データ生成装置、学習データ生成方法およびプログラム

Country Status (3)

Country Link
US (1) US11955111B2 (ja)
JP (1) JP6993604B2 (ja)
WO (1) WO2020036188A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700794A (zh) * 2021-03-23 2021-04-23 北京达佳互联信息技术有限公司 一种音频场景分类方法、装置、电子设备和存储介质
JP2022067223A (ja) * 2020-10-20 2022-05-06 株式会社日立製作所 生成装置および生成方法
JP2023076017A (ja) * 2021-11-22 2023-06-01 株式会社RevComm プログラム、情報処理システム及び情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12475881B2 (en) * 2021-08-25 2025-11-18 Hyperconnect LLC Method of generating conversation information using examplar-based generation model and apparatus for the same
CN114356860B (zh) * 2022-01-06 2024-06-21 支付宝(杭州)信息技术有限公司 对话生成方法及装置
US12027153B2 (en) 2022-01-21 2024-07-02 International Business Machines Corporation Data sorting for generating RNN-T models
CN115033671A (zh) * 2022-06-13 2022-09-09 联想(北京)有限公司 一种信息处理方法、装置和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005164836A (ja) * 2003-12-01 2005-06-23 Advanced Telecommunication Research Institute International ドメイン検証器のトレーニング装置、入力データのドメイン検証装置、及びコンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447608B1 (en) * 2008-12-10 2013-05-21 Adobe Systems Incorporated Custom language models for audio content
US11250844B2 (en) * 2017-04-12 2022-02-15 Soundhound, Inc. Managing agent engagement in a man-machine dialog
US10963819B1 (en) * 2017-09-27 2021-03-30 Amazon Technologies, Inc. Goal-oriented dialog systems and methods
US10515155B2 (en) * 2018-02-09 2019-12-24 Digital Genius Limited Conversational agent

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005164836A (ja) * 2003-12-01 2005-06-23 Advanced Telecommunication Research Institute International ドメイン検証器のトレーニング装置、入力データのドメイン検証装置、及びコンピュータプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022067223A (ja) * 2020-10-20 2022-05-06 株式会社日立製作所 生成装置および生成方法
JP7478075B2 (ja) 2020-10-20 2024-05-02 株式会社日立製作所 生成装置および生成方法
CN112700794A (zh) * 2021-03-23 2021-04-23 北京达佳互联信息技术有限公司 一种音频场景分类方法、装置、电子设备和存储介质
CN112700794B (zh) * 2021-03-23 2021-06-22 北京达佳互联信息技术有限公司 一种音频场景分类方法、装置、电子设备和存储介质
JP2023076017A (ja) * 2021-11-22 2023-06-01 株式会社RevComm プログラム、情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
US11955111B2 (en) 2024-04-09
JP6993604B2 (ja) 2022-01-13
JPWO2020036188A1 (ja) 2021-08-10
US20210183369A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
JP6993604B2 (ja) 学習データ生成装置、学習データ生成方法およびプログラム
JP6464650B2 (ja) 音声処理装置、音声処理方法、およびプログラム
JP6440967B2 (ja) 文末記号推定装置、この方法及びプログラム
US20080183468A1 (en) Augmentation and calibration of output from non-deterministic text generators by modeling its characteristics in specific environments
JP7007617B2 (ja) 話し終わり判定装置、話し終わり判定方法およびプログラム
JPWO2014112375A1 (ja) 話者識別装置、話者識別方法、および話者識別用プログラム
JP2020505643A (ja) 音声認識方法、電子機器、及びコンピュータ記憶媒体
CN109410956B (zh) 一种音频数据的对象识别方法、装置、设备及存储介质
EP4078571A1 (en) A text-to-speech synthesis method and system, a method of training a text-to-speech synthesis system, and a method of calculating an expressivity score
EP3966812B1 (en) Online language model interpolation for automatic speech recognition
JP2004310098A (ja) スイッチング状態空間型モデルによる変分推論を用いた音声認識の方法
JP2024502946A6 (ja) 音声認識トランスクリプトの句読点付け及び大文字化
AU2021416089A9 (en) Punctuation and capitalization of speech recognition transcripts
JP2018197924A (ja) 情報処理装置、対話処理方法、及び対話処理プログラム
US11132999B2 (en) Information processing device, information processing method, and non-transitory computer readable storage medium
CN114974253A (zh) 一种基于人物画像的自然语言解释方法、装置及存储介质
JP7125630B2 (ja) 要点抽出装置、要点抽出方法、及びプログラム
CN113963715A (zh) 语音信号的分离方法、装置、电子设备及存储介质
JP2014232145A (ja) ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム
JP6220733B2 (ja) 音声分類装置、音声分類方法、プログラム
JP7508333B2 (ja) 計算機システム及び学習方法
JP4537755B2 (ja) 音声対話システム
CN115240696A (zh) 一种语音识别方法及可读存储介质
WO2023119521A1 (ja) 可視化情報生成装置、可視化情報生成方法、及びプログラム
JP2018097045A (ja) 発音辞書及び音響モデル生成装置、音声認識装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19849592

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020537089

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19849592

Country of ref document: EP

Kind code of ref document: A1