[go: up one dir, main page]

WO2021250731A1 - メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム - Google Patents

メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム Download PDF

Info

Publication number
WO2021250731A1
WO2021250731A1 PCT/JP2020/022489 JP2020022489W WO2021250731A1 WO 2021250731 A1 WO2021250731 A1 WO 2021250731A1 JP 2020022489 W JP2020022489 W JP 2020022489W WO 2021250731 A1 WO2021250731 A1 WO 2021250731A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
emotion
receiver
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/022489
Other languages
English (en)
French (fr)
Inventor
真奈 笹川
妙 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2020/022489 priority Critical patent/WO2021250731A1/ja
Priority to JP2022530357A priority patent/JP7435768B2/ja
Priority to US18/008,580 priority patent/US20230239259A1/en
Publication of WO2021250731A1 publication Critical patent/WO2021250731A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]

Definitions

  • An embodiment of the present invention relates to a message selection device, a message presentation device, a message selection method, and a message selection program.
  • Patent Document 1 discloses an emotion estimation technique for estimating a dog's emotion from the characteristics of a dog's bark.
  • products that apply this emotion estimation technology to provide communication tools with pets are also on sale.
  • this product a plurality of messages are prepared for each pet's emotion, and the message associated with the estimated emotion is randomly presented.
  • Patent Document 1 does not disclose a configuration that considers the emotions of the recipient who is the communication partner.
  • the present invention is intended to provide a technique that enables selection of a message to be presented in consideration of the emotions of the recipient who is the communication partner in addition to the emotions of the sender.
  • the message selection device has a message database that holds a plurality of messages corresponding to the emotions of the sender, and sender information for estimating the emotions of the sender.
  • the caller information acquisition unit that acquires the sender information
  • the receiver information acquisition unit that acquires the receiver information for estimating the emotion of the receiver that receives the message from the sender
  • the sender information acquired by the caller information acquisition unit The emotion of the sender is estimated based on the above
  • the emotion of the receiver is estimated based on the recipient information acquired by the receiver information acquisition unit
  • the message database holds the emotion based on the estimated emotions.
  • a message selection unit for selecting one message from the plurality of messages is provided.
  • FIG. 1A is a block diagram showing an example of the configuration of a message presenting device including the message selection device according to the first embodiment of the present invention.
  • FIG. 1B is a diagram showing an example of a hardware configuration of an information processing device constituting a message presenting device.
  • FIG. 2 is a diagram showing an example of information held by the message database.
  • FIG. 3 is a flowchart showing an example of processing operation in the information processing apparatus.
  • FIG. 4A is a diagram in which each emotional component indicated by the message “Wow! Good!” Is modeled on Russell's emotional ring model.
  • FIG. 4B is a diagram in which each emotional component indicated by the message “Somehow throbbing!” Is modeled on Russell's emotional ring model.
  • FIG. 4A is a diagram in which each emotional component indicated by the message “Wow! Good!” Is modeled on Russell's emotional ring model.
  • FIG. 4B is a diagram in which each emotional component indicated by the message “Somehow throbbing!” I
  • FIG. 5A is a diagram showing an emotion vector of a message “Wow! Good!” Acquired based on each emotion vector of FIG. 4A.
  • FIG. 5B is a diagram showing an emotion vector of a message “somehow throbbing!” Acquired based on each emotion vector of FIG. 4B.
  • FIG. 6A is a diagram showing the relationship between the emotion vector of the message of FIG. 5A and the emotion vector of the recipient's emotion.
  • FIG. 6B is a diagram showing the relationship between the emotion vector of the message of FIG. 5B and the emotion vector of the recipient's emotion.
  • FIG. 7 is a block diagram showing an example of the configuration of a message presenting device including the message selection device according to the second embodiment of the present invention.
  • FIG. 7 is a block diagram showing an example of the configuration of a message presenting device including the message selection device according to the second embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of a hardware configuration of an information processing device constituting the sender device in the message presenting device of FIG. 7.
  • 9A is a flowchart showing an example of the processing operation in the information processing apparatus of FIG.
  • FIG. 9B is a flowchart showing an example of a processing operation in the information processing device constituting the receiver device in the message presenting device of FIG. 7.
  • FIG. 10 is a block diagram showing an example of the configuration of a message presenting device including the message selection device according to the third embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of a receiver device in another example of the configuration of a message presenting device including the message selection device according to the third embodiment.
  • FIG. 12 is a diagram showing an example of information held in the ratio database in the message selection device according to the third embodiment.
  • FIG. 1A is a block diagram showing an example of the configuration of a message presenting device including the message selection device according to the first embodiment of the present invention.
  • the message selection device includes a message database 10, a sender information acquisition unit 20, a receiver information acquisition unit 30, and a message selection unit 40.
  • the message presenting device includes a message selection device and a message presenting unit 50.
  • the "message database” is described as a "message DB".
  • the message database 10 holds a plurality of messages corresponding to the emotions of the sender.
  • the caller information acquisition unit 20 acquires caller information for estimating the emotion of the caller.
  • Callers include, for example, pets that make various calls and moans depending on their emotions, such as dogs, cats, and birds. Also, the caller may include a human infant who is still unable to speak and expresses emotions by crying or moaning.
  • the caller information includes at least voice information about the voice emitted by the caller.
  • the caller information is also used to estimate the caller's emotions, such as image information that captures the appearance of the caller, and biological information that indicates the state of the living body such as the caller's body temperature and heart rate. It can contain a variety of possible information.
  • the receiver information acquisition unit 30 acquires receiver information for estimating the emotions of the recipient who receives the message from the sender.
  • Recipients include, for example, pet owners and relatives of human infants.
  • the receiver information may include various information that can be used to estimate the emotion of the receiver, such as voice information about the recipient's remarks, image information that captures the appearance of the receiver, and biometric information of the receiver.
  • the message selection unit 40 estimates the emotion of the sender based on the sender information acquired by the sender information acquisition unit 20, and estimates the emotion of the receiver based on the receiver information acquired by the receiver information acquisition unit 30. Based on each estimated emotion, one message is selected from a plurality of messages held by the message database 10.
  • the message selection unit 40 includes a message group acquisition unit 41, an emotion estimation unit 42, and a selection unit 43.
  • the message group acquisition unit 41 acquires the message group corresponding to the caller information acquired by the caller information acquisition unit 20 from the message database 10.
  • the emotion estimation unit 42 estimates the emotions indicated by each message of the message group acquired by the message group acquisition unit 41, and also estimates the emotions indicated by the recipient information acquired by the receiver information acquisition unit 30.
  • the selection unit 43 selects the message closest to the emotion of the recipient estimated by the emotion estimation unit 42, based on the emotion indicated by each message of the message group estimated by the emotion estimation unit 42.
  • the message presenting unit 50 presents the message selected by the message selection unit 40 to the receiver.
  • FIG. 1B is a diagram showing an example of a hardware configuration of an information processing device constituting the message presenting device of FIG. 1A.
  • the information processing device may be provided as a communication device provided with a dedicated housing, or may be realized by a general-purpose computer such as a smartphone or a personal computer.
  • the information processing device has a hardware processor 101 such as a CPU (Central Processing Unit). Then, in the information processing apparatus, the program memory 102, the data memory 103, the communication interface 104, and the input / output interface 105 are connected to the processor 101 via the bus 106.
  • the "input / output interface” is abbreviated as "input / output IF”.
  • the program memory 102 is a non-volatile memory such as an HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written and read at any time as a non-temporary tangible computer-readable storage medium, and a ROM. It is used in combination with a non-volatile memory such as (Read Only Memory).
  • the program memory 102 stores a program necessary for the processor 101 to execute various control processes according to the first embodiment. That is, the processing function units in each of the sender information acquisition unit 20, the receiver information acquisition unit 30, the message selection unit 40, and the message presentation unit 50 all use the program stored in the program memory 102 as the processor 101. It can be realized by reading it out and executing it.
  • processing function units include an integrated circuit such as an integrated circuit for a specific application (ASIC: Application Specific Integrated Circuit), a DSP (Digital Signal Processor), or an FPGA (Field-Programmable Gate Array). , May be realized in various other formats.
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • FPGA Field-Programmable Gate Array
  • the data memory 103 is used as a tangible computer-readable storage medium, for example, in combination with the above-mentioned non-volatile memory and a volatile memory such as RAM (RandomAccessMemory).
  • the data memory 103 is used to store various data acquired and created in the process of performing various processes. That is, in the data memory 103, an area for storing various data is appropriately secured in the process of performing various processes. As such an area, the data memory 103 may be provided with, for example, a message database storage unit 1031, a temporary storage unit 1032, and a presentation information storage unit 1033.
  • the "message database storage unit" is described as the "message DB storage unit”.
  • the message database storage unit 1031 stores a plurality of messages corresponding to the emotions of the sender. That is, the message database 10 can be configured in the message database storage unit 1031.
  • the temporary storage unit 1032 acquires or generates sender information, receiver information, and messages when the processor 101 operates as the sender information acquisition unit 20, the receiver information acquisition unit 30, and the message selection unit 40. Memorize data such as groups, emotions, etc.
  • the presentation information storage unit 1033 stores a message that is selected when the processor 101 performs the operation as the message selection unit 40 and is presented to the receiver when the processor 101 performs the operation as the message presentation unit 50.
  • the communication interface 104 can include one or more wired or wireless communication modules.
  • the communication interface 104 includes a wireless communication module using short-range wireless technology such as Bluetooth (registered trademark). Under the control of the processor 101, this wireless communication module receives an audio signal from the wireless microphone 200, a sensor signal from the sensor of the sensor group 300, and the like. In FIG. 1B, the "wireless microphone” is referred to as "MIC". Then, the wireless communication module can convert the received signals into information that can be processed by the processor 101 and store them in the temporary storage unit 1032 of the data memory 103. For example, by attaching the wireless microphone 200 to the caller or arranging it in the vicinity of the caller, the information processing apparatus can acquire the voice information of the caller.
  • short-range wireless technology such as Bluetooth (registered trademark).
  • the information processing device can be used.
  • the image information and biometric information of the sender can be acquired. That is, the processor 101 and the communication interface 104 can function as the caller information acquisition unit 20.
  • the information processing apparatus can acquire the biological information of the receiver. That is, the processor 101 and the communication interface 104 can also function as the receiver information acquisition unit 30.
  • the communication interface 104 may include, for example, a wireless communication module that wirelessly connects to a Wi-Fi access point or a mobile phone base station. Under the control of the processor 101, this wireless communication module communicates with other information processing devices and server devices on the network 400 via a Wi-Fi access point and a mobile phone base station, and transmits and receives various information. can do.
  • “network" is described as "NW".
  • the network 400 is composed of an IP network including the Internet and an access network for accessing the IP network.
  • the access network for example, a public wired network, a mobile phone network, a wired LAN (Local Area Network), a wireless LAN, a CATV (Cable Television), or the like is used.
  • the key input unit 107, the speaker 108, the display unit 109, the microphone 110, and the camera 111 are connected to the input / output interface 105.
  • the "microphone” is described as a "microphone”.
  • the key input unit 107 includes operation keys and buttons for a receiver who is a user of the information processing device to give an operation instruction to the processor 101.
  • the input / output interface 105 inputs the operation signal to the processor 101 in response to the operation of the key input unit 107.
  • the speaker 108 generates sound according to the signal input from the input / output interface 105.
  • the processor 101 converts the message stored in the presentation information storage unit 1033 into voice information, and the voice information is input to the speaker 108 as a voice signal by the input / output interface 105, so that the message is presented to the receiver as voice. can do. That is, the processor 101, the input / output interface 105, and the speaker 108 can function as the message presenting unit 50.
  • the display unit 109 is a display device using, for example, a liquid crystal display, an organic EL (ElectroLuminescence), or the like, and displays an image corresponding to a signal input from the input / output interface 105.
  • the processor 101 converts the message stored in the presentation information storage unit 1033 into image information, and the image information is input to the display unit 109 as an image signal by the input / output interface 105, so that the message can be received as an image. Can be presented. That is, the processor 101, the input / output interface 105, and the display unit 109 can function as the message presentation unit 50.
  • the key input unit 107 and the display unit 109 may be configured as an integrated device. That is, it may be a so-called tablet-type input / display device in which an input detection sheet adopting an electrostatic method or a pressure method is arranged on the display screen of the display device.
  • the microphone 110 collects nearby sounds and inputs them to the input / output interface 105 as audio signals. Under the control of the processor 101, the input / output interface 105 converts the input voice signal into voice information and stores it in the temporary storage unit 1032. When the information processing device is located in the vicinity of a receiver such as a smartphone, the microphone 110 collects the sound emitted by the receiver. Therefore, the processor 101 and the input / output interface 105 can function as the receiver information acquisition unit 30. Further, if the distance between the receiver and the caller is short and the microphone 110 can collect the voices of both the receiver and the caller, the processor 101 and the input / output interface 105 function as the caller information acquisition unit 20. be able to.
  • the processor 101 can use the voice information as the receiver information and the sender information, for example, depending on the feature amount such as the frequency of the voice information, or whether the voice can be recognized so that the voice information can be understood to some extent as a sentence. It is possible to determine which of these is.
  • the camera 111 captures an image in the field of view and inputs an image pickup signal to the input / output interface 105.
  • the input / output interface 105 converts the input imaging signal into image information and stores it in the temporary storage unit 1032. If the receiver is in the field of view of the camera 111, the processor 101 and the input / output interface 105 can function as the receiver information acquisition unit 30 for acquiring the image information of the receiver. Further, if the caller is in the field of view of the camera 111, the processor 101 and the input / output interface 105 can function as the caller information acquisition unit 20 for acquiring the image information of the caller.
  • the processor 101 can determine whether the image information is the receiver information or the sender information, for example, based on the feature amount of the image information.
  • the input / output interface 105 may have a read / write function of a recording medium such as a semiconductor memory such as a flash memory, or may be connected to a reader / writer having a read / write function of such a recording medium. It may have a function.
  • the recording medium that can be attached to and detached from the information processing device can be used as a message database storage unit that stores a plurality of messages.
  • the input / output interface 105 may further have a connection function with other devices.
  • FIG. 2 is a diagram showing an example of information held by the message database 10 configured in the message database storage unit 1031.
  • This example is an example when the sender is a dog and the receiver is a human.
  • the message database 10 stores a group of messages including a plurality of corresponding messages for the emotions of the dog that is the sender, such as "fun", “kana”, "request”, and so on. There is.
  • the message group includes messages such as "Wow! Good!, "Somehow, I'm formed!, And so on.
  • the operation of the message presenting device provided with the message selection device will be described.
  • the case where the sender is a dog and the receiver is a human will be described as an example.
  • FIG. 3 is a flowchart showing an example of processing operation in the message presenting device.
  • This flowchart shows the processing operation of the message presenting device in the processor 101 of the information processing device that functions as the sender information acquisition unit 20, the receiver information acquisition unit 30, the message selection unit 40, and the message presentation unit 50.
  • the wireless microphone 200 is attached to or near the dog that is the caller, and then the key input unit 107 instructs the start of message presentation via the input / output interface 105, the processor 101 is instructed to start the message presentation.
  • the operation shown in the flowchart is started.
  • a sensor group 300 such as an image sensor or a biological sensor may be used, but here, the dog's emotion is estimated only from the dog's bark as sender information. And.
  • the processor 101 functions as a caller information acquisition unit 20, and determines whether or not the caller voice collected by the wireless microphone 200, that is, the bark of a dog is acquired by the communication interface 104 (step S1). Here, if it is determined that the caller's voice has not been acquired (NO in step S1), the processor 101 repeats the process of step S1.
  • the processor 101 stores the acquired caller voice in the temporary storage unit 1032, and the message group of the message selection unit 40. The operation as the acquisition unit 41 is performed.
  • the processor 101 acquires the caller's emotion, that is, the dog's emotion, based on the caller's voice stored in the temporary storage unit 1032. (Step S2).
  • the method of acquiring the caller's emotion is not particularly limited in this embodiment.
  • the emotion of a dog can be obtained by a method as disclosed in Patent Document 1.
  • the processor 101 acquires a message group corresponding to the acquired caller's emotion from the message database 10 stored in the message database storage unit 1031 and stores it in the temporary storage unit 1032 (step S3).
  • the processor 101 operates as the emotion estimation unit 42.
  • the processor 101 calculates the ratio of the emotional component indicated by each message for each of the plurality of messages included in the message group stored in the temporary storage unit 1032.
  • the method for calculating the ratio of emotional components is not particularly limited in this embodiment.
  • the ratio of emotional components can be calculated by an algorithm for calculating the ratio of emotional components stored in the program memory 102 or the data memory 103.
  • a text emotion recognition AI (for example, https: //emotion-ai.userlocal.jp/) is also provided on the Internet.
  • the processor 101 makes a communication interface to a specific site on the network 400 that provides the resource. Send the text of the message via 104.
  • the processor 101 can receive the ratio data of the emotional component corresponding to the transmitted text from the specific site.
  • the processor 101 converts each calculated emotion component into an emotion vector for each message (step S5).
  • the emotion vector is a vector on Russell's emotional ring model.
  • Russell's emotional ring model is a model that maps emotions in a two-dimensional space centered on valence and arousal.
  • Russell's emotional ring model is disclosed in, for example, "J.A. Russell," A circleplex model of affect. "Journal of personality and social psychology, vol.39, no.6, p.1161, 1980.” ing.
  • FIG. 4A is a diagram in which each emotional component indicated by the message “Wow! It is the figure which modeled the emotion component on Russell's annulus model.
  • the valence axis increases the degree of "pleasantness” toward the right and the degree of “discomfort” toward the left.
  • the degree of "awakening” increases as it goes up, and the degree of "calmness” increases as it goes down.
  • Each component of emotion is represented as an orientation from the origin on this Russell's emotional ring model.
  • the processor 101 vectorizes the calculated emotion ratio on Russell's emotion ring model, with the magnitude of the vector (min0 to MAX1) and the direction from the origin to which the emotion is mapped as the direction of the vector.
  • the processor 101 acquires the emotion vector of each message by adding the emotion vectors of the emotion components for each message (step S6).
  • emotion vector and resultant force on Russell's emotional ring model for example, “Reiko Ariga, Junji Watanabe, Junji Nunobiki,” Impression evaluation of agent's emotional expression by expanding and contracting figures ", Human Interface Symposium 2017 Proceedings (2017). ”.
  • FIG. 5A is a diagram showing the emotion vector MV1 of the message “Wow! Good!” Acquired based on each emotion vector of FIG. 4A.
  • FIG. 5B is a diagram showing an emotion vector MV2 of the message “somehow throbbing!” Acquired based on each emotion vector of FIG. 4B.
  • the processor 101 also acquires an emotion vector for the emotion of the human being who is the recipient.
  • the processor 101 first acquires the receiver information as the receiver information acquisition unit 30 (step S7).
  • the processor 101 stores the sound of the receiver collected by the microphone 110 and / or the human face image of the receiver captured by the camera 111 in the temporary storage unit 1032 as the receiver information via the input / output interface 105. do.
  • the processor 101 performs the operation as the emotion estimation unit 42 again, and acquires the emotion vector of the recipient's emotion.
  • the processor 101 calculates the ratio of the emotional component of the human being who is the recipient from the voice and / or the facial image stored in the temporary storage unit 1032 (step S8).
  • the method for calculating the ratio of the emotional component of the recipient is also not particularly limited in this embodiment.
  • the calculation method of the ratio of emotional components based on voice and facial image "Panagiotis Tzirakis, George Trigeorgis, Mihalis A. Nicolaou, Bjorn W. Schuller, Stefanos Zafeiriou,” End-to-End Multimodal Emotion Recognition It is disclosed in Networks, "IEEE Journal of Selected Topics in Signal Processing, vol.11, No.8, pp.1301-1309, 2017.”.
  • the processor 101 can calculate the ratio of the emotional component by the algorithm for calculating the ratio of the emotional component stored in the program memory 102 or the data memory 103. Further, as an existing technology, a facial expression emotion recognition AI (for example, https://emotion-ai.userlocal.jp/face) is also provided on the Internet. When using an emotion recognition resource that calculates the ratio of emotional components from facial expressions provided on any site on the Internet, the processor 101 makes a communication interface to a specific site on the network 400 that provides the resource. A facial image is transmitted via 104. As a result, the processor 101 can receive the ratio data of the emotional component corresponding to the transmitted facial image from the specific site.
  • a facial expression emotion recognition AI for example, https://emotion-ai.userlocal.jp/face
  • the processor 101 converts each of the calculated emotional components of the recipient into an emotional vector (step S9).
  • the processor 101 acquires the emotion vector of the human emotion of the recipient by adding the emotion vectors of the emotion components (step S10).
  • the emotions of the human being who is the recipient will be described as the emotions of the recipient.
  • the processor 101 When the emotion vector of each message of the message group and the emotion vector of the recipient's emotion are acquired in this way, the processor 101 operates as the selection unit 43.
  • the processor 101 determines the emotion vector of the message closest to the emotion vector of the recipient emotion (step S11). For example, the processor 101 determines the emotion vector of the message having the largest inner product with the emotion vector of the recipient emotion.
  • 6A is a diagram showing the relationship between the emotion vector MV1 of the message of FIG. 5A and the emotion vector RV of the recipient emotion
  • FIG. 6B is a diagram showing the relationship between the emotion vector MV2 of the message of FIG. 5B and the emotion vector RV of the recipient emotion. It is a figure which shows.
  • the emotion vector MV1 of the message is close to the emotion vector RV of the recipient emotion.
  • the processor 101 selects a message having an emotion vector of the determined message (step S12). For example, in the above example, the processor 101 selects the message “Wow! Good!” Of the emotion vector MV1. The processor 101 stores the selected message in the presentation information storage unit 1033.
  • the processor 101 functions as the message presenting unit 50 and presents the selected message (step S13). That is, the processor 101 presents the message by outputting the message stored in the presentation information storage unit 1033 as voice by the speaker 108 via the input / output interface 105 or as an image to the display unit 109.
  • the processor 101 repeats the process from the above step S1.
  • the message selection device has a message database 10 that holds a plurality of messages corresponding to the emotions of the sender, and a sender that acquires sender information for estimating the emotions of the sender.
  • the sender is based on the information acquisition unit 20, the receiver information acquisition unit 30 that acquires receiver information for estimating the emotions of the receiver that receives the message from the sender, and the sender information acquired by the sender information acquisition unit 20.
  • Estimates the emotions of the recipient based on the recipient information acquired by the receiver information acquisition unit 30, and based on each estimated emotion, one from a plurality of messages held by the message database 10.
  • a message selection unit 40 for selecting a message is provided. Therefore, in addition to the emotions of the sender, it is possible to select the message to be presented in consideration of the emotions of the receiver who is the communication partner.
  • the message selection unit 40 acquires the message group corresponding to the caller information acquired by the caller information acquisition unit 20 from the message database 10, and the message group acquisition unit 41.
  • the emotions indicated by each message of the message group acquired by the message group acquisition unit 41 are estimated, and the emotions estimated by the emotion estimation unit 42 and the emotion estimation unit 42 that estimate the emotions indicated by the recipient information acquired by the receiver information acquisition unit 30.
  • a selection unit 43 for selecting a message closest to the emotion of the recipient estimated by the emotion estimation unit 42 based on the emotion indicated by each message in the message group is provided.
  • the emotion estimation unit 42 uses each message of the message group acquired by the message group acquisition unit 41 and the recipient information acquired by the receiver information acquisition unit 30 as an emotion vector.
  • the selection unit 43 discriminates from the emotion vectors of each message of the message group converted by the emotion estimation unit 42, the emotion vector closest to the emotion vector of the recipient converted by the emotion estimation unit 42, and determines the emotion vector. Select a message with an emotion vector.
  • the emotion estimation unit 42 calculates the ratio of the emotion component included in the emotion indicated by the message for each message of the message group acquired by the message group acquisition unit 41, and calculates the ratio.
  • the emotion vector of the message is obtained by converting each emotion component into each emotion vector based on the ratio of the emotion components and adding the emotion vectors of each emotion component. Therefore, the message can be easily vectorized.
  • the emotion vector can be a vector on Russell's emotion ring model in which emotions are mapped in a two-dimensional space centered on the emotion value and the arousal value.
  • the message presenting device includes a message selection device according to the first embodiment and a message presenting unit 50 that presents a message selected by the message selection unit 40 of the message selection device to a receiver. .. Therefore, it is possible to present a message close to the emotion of the receiver while conveying the emotion of the sender, and it is possible to express sympathy for the recipient in a short message.
  • the message presenting device including the message selection device is configured as one device operated by the receiver.
  • the message selection device or the message presentation device may be provided as a system divided into a plurality of devices.
  • FIG. 7 is a block diagram showing an example of the configuration of a message presenting device including the message selection device according to the second embodiment of the present invention.
  • the message presenting device is composed of two devices, a sender device 60 owned by the sender and a receiver device 70 owned by the receiver.
  • the sender device 60 includes a message database 10, a sender information acquisition unit 20, a receiver information acquisition unit 30, a message group acquisition unit 41 of the message selection unit 40, and a message presentation as described in the first embodiment.
  • a unit 50 is provided.
  • the sender device 60 includes a sender communication unit 61 that transmits / receives data to / from the receiver device 70.
  • the caller device 60 assumes a communication device worn on the collar of a pet such as a dog.
  • the receiver device 70 includes an emotion estimation unit 42 and a selection unit 43 of the message selection unit 40 as described in the first embodiment. Further, the receiver device 70 includes a receiver communication unit 71 that transmits / receives data to / from the sender device 60. In the second embodiment, the receiver device 70 assumes a smartphone or a personal computer owned by a human who is the owner of a pet such as a dog.
  • FIG. 8 is a diagram showing an example of the hardware configuration of the information processing device constituting the sender device 60 in the message presenting device of FIG. 7.
  • the information processing apparatus has a hardware processor 601, and the program memory 602, the data memory 603, the communication interface 604, and the input / output interface 605 are used for the processor 601 by bus 606. Connected via.
  • the “input / output interface” is abbreviated as “input / output IF”.
  • the program memory 602 is used as a non-temporary tangible computer-readable storage medium, for example, in combination with a non-volatile memory such as an HDD or SSD that can be written and read at any time and a non-volatile memory such as a ROM. It was done.
  • the program memory 602 stores a program necessary for the processor 601 to execute various control processes according to the second embodiment. That is, the processing function units in each of the sender information acquisition unit 20, the receiver information acquisition unit 30, the message group acquisition unit 41, the message presentation unit 50, and the caller communication unit 61 are all stored in the program memory 602. It can be realized by reading and executing the created program by the processor 601. It should be noted that some or all of these processing functional units may be realized by various other formats including integrated circuits such as ASIC, DSP, or FPGA.
  • the data memory 603 is used as a tangible computer-readable storage medium, for example, in combination with the above-mentioned non-volatile memory and a volatile memory such as RAM.
  • This data memory 603 is used to store various data acquired and created in the process of performing various processes. That is, in the data memory 603, an area for storing various data is appropriately secured in the process of performing various processes.
  • the data memory 603 may be provided with, for example, a message database storage unit 6031, a temporary storage unit 6032, and a presentation information storage unit 6033.
  • the "message database storage unit" is described as the "message DB storage unit”.
  • the message database storage unit 6031 stores a plurality of messages corresponding to the emotions of the sender. That is, the message database 10 can be configured in the message database storage unit 6031.
  • the temporary storage unit 6032 acquires or generates sender information and receiver information when the processor 601 operates as the sender information acquisition unit 20, the receiver information acquisition unit 30, and the message group acquisition unit 41. Stores data such as messages.
  • the presentation information storage unit 6033 stores a message presented to the receiver when the processor 601 performs the operation as the message presentation unit 50.
  • the communication interface 604 includes, for example, a wireless communication module using short-range wireless technology such as Bluetooth. This wireless communication module wirelessly performs data communication with the receiver device 70 under the control of the processor 601. That is, the processor 601 and the communication interface 604 can function as the caller communication unit 61.
  • a key input unit 607, a speaker 608, a display unit 609, a microphone 610, and a camera 611 are connected to the input / output interface 605.
  • the “microphone” is referred to as a “microphone”.
  • the key input unit 607 includes operation keys and buttons such as a power key for starting the operation of the caller device 60.
  • the input / output interface 605 inputs the operation signal to the processor 601 in response to the operation of the key input unit 607.
  • the speaker 608 generates a sound corresponding to the signal input from the input / output interface 605.
  • the processor 601 converts the message stored in the presentation information storage unit 6033 into voice information, and the voice information is input to the speaker 608 as a voice signal by the input / output interface 605, so that the message is presented to the receiver as voice. can do. That is, the processor 601, the input / output interface 605, and the speaker 608 can function as the message presenting unit 50.
  • the display unit 609 is a display device using, for example, a liquid crystal display, an organic EL, or the like, and displays an image corresponding to a signal input from the input / output interface 605.
  • the processor 601 converts the message stored in the presentation information storage unit 6033 into image information, and the image information is input to the display unit 609 as an image signal by the input / output interface 605, so that the message can be received as an image. Can be presented. That is, the processor 601, the input / output interface 605, and the display unit 609 can function as the message presentation unit 50.
  • the microphone 610 collects nearby sounds and inputs them to the input / output interface 605 as audio signals. Under the control of the processor 601 the input / output interface 605 converts the input audio signal into audio information and stores it in the temporary storage unit 6032. The microphone 610 collects the voices emitted by the sender and the receiver. Therefore, the processor 601 and the input / output interface 605 can function as the sender information acquisition unit 20 and the receiver information acquisition unit 30.
  • the camera 611 captures an image in the field of view and inputs an image pickup signal to the input / output interface 605.
  • the input / output interface 605 converts the input image pickup signal into image information under the control of the processor 601 and stores it in the temporary storage unit 6032.
  • the processor 601 and the input / output interface 605 can function as the receiver information acquisition unit 30 for acquiring the image information of the receiver.
  • the input / output interface 605 may have a read / write function of a recording medium such as a semiconductor memory such as a flash memory, or may be connected to a reader / writer having a read / write function of such a recording medium. It may have a function. As a result, the recording medium that can be attached to and detached from the information processing device can be used as a message database storage unit that stores a plurality of messages.
  • the input / output interface 605 may further have a connection function with other devices such as a biosensor that detects the biometric information of the sender.
  • the information processing device constituting the receiver device 70 may have a hardware configuration as shown in FIG. 1B described in the first embodiment.
  • the message database storage unit 1031 is not required for the data memory 103.
  • the program memory 102 stores a program necessary for the processor 101 to execute various control processes according to the second embodiment. That is, the processing function units in each of the emotion estimation unit 42, the selection unit 43, and the receiver communication unit 71 all read the program stored in the program memory 102 by the processor 101 and execute it. It can be realized.
  • FIG. 9A is a flowchart showing an example of a processing operation in the information processing device constituting the sender device 60 in the message presenting device.
  • This flowchart is in the processor 601 of the information processing device that functions as the caller information acquisition unit 20, the receiver information acquisition unit 30, the message group acquisition unit 41, the message presentation unit 50, and the caller communication unit 61 of the sender device 60. Shows the processing operation. For example, when the caller device 60 is attached to the caller, for example, a dog collar or the like, and then the power key of the key input unit 607 is turned on, the start of message presentation is instructed via the input / output interface 605. The processor 601 starts the operation shown in this flowchart.
  • the processor 601 functions as the caller information acquisition unit 20, and determines whether or not the caller voice collected by the microphone 610, for example, the bark of a dog, is acquired by the input / output interface 605 (step S61). Here, if it is determined that the caller's voice has not been acquired (NO in step S61), the processor 601 repeats the process of step S61.
  • the processor 601 stores the acquired caller voice in the temporary storage unit 6032, and serves as the message group acquisition unit 41. Perform the operation.
  • the processor 601 acquires a caller's emotion, for example, a dog's emotion, based on the caller's voice stored in the temporary storage unit 6032 (step S62).
  • a caller's emotion for example, a dog's emotion
  • the method of acquiring the caller's emotion is not particularly limited in this embodiment.
  • the processor 601 acquires a message group corresponding to the acquired caller's emotion from the message database 10 stored in the message database storage unit 6031 and stores it in the temporary storage unit 6032 (step S63).
  • the processor 601 functions as a receiver information acquisition unit 30 to acquire receiver information (step S64).
  • the processor 601 stores the sound of the receiver collected by the microphone 610 and / or the human face image of the receiver captured by the camera 611 in the temporary storage unit 6032 as the receiver information via the input / output interface 605. do.
  • the processor 601 operates as the caller communication unit 61.
  • the processor 601 transmits the message group stored in the temporary storage unit 6032 and the receiver information to the receiver device 70 by the communication interface 604 (step S65).
  • the processor 601 determines whether or not the selection message has been received from the receiver device 70 by the communication interface 604 (step S66).
  • the processor 601 determines whether or not a timeout has occurred, that is, whether or not a preset time has elapsed (step). S67). If the time-out has not yet occurred (NO in step S67), the processor 601 repeats the process from step S66.
  • the preset time is determined based on the time required for the process of selecting a message in the receiver device 70.
  • FIG. 9B is a flowchart showing an example of a processing operation in the information processing device constituting the receiver device 70 in the message presenting device.
  • This flowchart shows the processing operation of the receiver device 70 in the processor 101 of the information processing device that functions as the emotion estimation unit 42, the selection unit 43, and the receiver communication unit 71.
  • the processor 101 reads out the program stored in the program memory 602 and starts the operation shown in this flowchart.
  • the processor 101 functions as the receiver communication unit 71, and determines whether or not the message group and the receiver information have been received from the sender device 60 by the communication interface 104 (step S71). Here, if it is determined that the message group and the receiver information have not been received (NO in step S71), the processor 101 repeats the process of step S71.
  • the processor 101 stores the received message group and the receiver information in the temporary storage unit 1032, and the emotion estimation unit. The operation as 42 is carried out.
  • the processor 101 calculates the ratio of the emotional component indicated by each message for each of the plurality of messages included in the message group stored in the temporary storage unit 1032. (Step S72).
  • the method for calculating the ratio of emotional components is not particularly limited in this embodiment.
  • the processor 101 converts each calculated emotion component into an emotion vector for each message (step S73).
  • the processor 101 acquires the emotion vector of each message by adding the emotion vectors of the emotion components for each message (step S74).
  • the processor 101 calculates the ratio of the emotional component of the human being as a receiver from the voice information and / or the face image which is the receiver information stored in the temporary storage unit 1032. (Step S75).
  • the method for calculating the ratio of the emotional component of the recipient is also not particularly limited in this embodiment.
  • the processor 101 converts each of the calculated emotional components of the recipient into an emotional vector (step S76).
  • the processor 101 acquires the emotion vector of the recipient emotion by adding the emotion vectors of the emotion components (step S77).
  • the processor 101 When the emotion vector of each message of the message group and the emotion vector of the recipient's emotion are acquired in this way, the processor 101 operates as the selection unit 43.
  • the processor 101 determines the emotion vector of the message closest to the emotion vector of the recipient emotion (step S78). Then, the processor 101 selects a message having an emotion vector of the determined message (step S79). The processor 101 stores the selected message in the presentation information storage unit 1033.
  • the processor 101 functions again as the receiver communication unit 71, and transmits the message stored in the presentation information storage unit 1033 to the sender device 60 as a selection message. (Step S710).
  • the processor 101 repeats the process from the above step S71.
  • the sender device 60 receives the selection message transmitted from the receiver device 70 by the communication interface 604 and stores it in the presentation information storage unit 6033.
  • the processor 601 determines that the selection message has been received (YES in step S66). Then, the processor 601 functions as the message presentation unit 50, and outputs the selection message stored in the presentation information storage unit 6033 as voice by the speaker 608 via the input / output interface 605 or as an image on the display unit 609. By doing so, the message is presented.
  • the processor 601 repeats the process from the above step S61.
  • the processor 601 randomly selects one message from the message group stored in the temporary storage unit 6032. (Step S69). Then, the processor 601 stores the selected message as a selection message in the presentation information storage unit 6033.
  • step S68 the processor 601 proceeds to the process of step S68 and presents the selection message which is the randomly selected message.
  • the message selection device includes a sender device 60 owned by the sender and a receiver device 70 owned by the receiver, and the receiver device 70 includes at least an emotion estimation of the message selection unit 40. It is assumed that the unit 42 and the selection unit 43 are included.
  • the processor 601 of the caller device 60 has a low function. It can be used, and the caller device 60 can be provided at low cost.
  • the sender device 60 when the sender device 60 does not receive the selected message from the receiver device 70, the sender device 60 presents one of a plurality of messages in the selected message group, so that the receiver device 60 does not have the receiver device 70. , It is possible to present the same message as before based only on the emotion of the caller.
  • the emotion estimation unit 42 calculates the ratio of the emotional components of the message.
  • the emotional component may be calculated in advance for each message registered in the message database 10.
  • FIG. 10 is a block diagram showing an example of the configuration of a message presenting device including the message selection device according to the third embodiment of the present invention.
  • the ratio database 80 is further added.
  • 11 is a block diagram showing the configuration of the receiver device 70 in another example of the configuration of the message presenting device including the message selection device according to the third embodiment.
  • the ratio database 80 is further added.
  • the "ratio database" is referred to as the "ratio DB".
  • FIG. 12 is a diagram showing an example of information held by the ratio database 80. As shown in FIG. 12, the ratio database 80 holds a pre-calculated emotional component for each message. Therefore, the emotion estimation unit 42 can acquire the emotional component of the message without calculating the emotional component.
  • the message selection device further includes a ratio database 80 that holds the ratio of the emotional component indicated by the message for each of the plurality of messages corresponding to the emotions of the sender, and the emotion estimation unit 42 For each message of the message group acquired by the message group acquisition unit 41, each emotion component is converted into each emotion vector based on the ratio of the emotion component indicated by the message held in the ratio database 80, and each emotion component is converted. Get the emotion vector of the message by adding the emotion vectors of. Therefore, it is not necessary to calculate the emotional component for each of the plurality of messages, so that the processing speed can be increased.
  • the communication between the dog and the human is described as an example, but the present invention is not limited to this.
  • Each embodiment is also applicable to communication for a sender who cannot express emotions as words, such as communication between humans and other pets such as cats and birds, and communication between human infants and relatives.
  • the emotional vector is used to calculate the closeness of the emotions of the sender and the receiver, but the closeness of the emotions of the two is another index. It may be calculated by.
  • the emotion vector is defined on Russell's emotion circle model
  • the emotion vector may be defined using another emotion model.
  • step S7 for acquiring receiver information may be performed between steps S1 and S8.
  • the processing of step S7 may be executed in parallel with the processing of steps S2 to S6. In this way, each processing step may change the processing order as long as it does not conflict with the preceding or succeeding processing step.
  • the information processing device constituting the message selection device or the message presentation device may be configured with a server device on the network 400 as a part of its function.
  • the message database 10 and the message selection unit 40 can be provided in the server device.
  • the smart speaker connected to the network 400 can be used as if it were a message presenting device. Can be shown to.
  • a smart speaker having only a microphone and a speaker as a user interface transmits voice information of a sender and a receiver to a server device via a network 400, and receives a selection message from the server device via the network 400 to be a speaker. Can output audio.
  • a smart speaker having a camera and a display as a user interface transmits voice information and facial image information of a receiver to a server device via a network 400, and a selection message is transmitted from the server device via the network 400. It can be received and output as audio through a speaker, or displayed and output by a display.
  • the method described in the above embodiment is, for example, a magnetic disk (floppy (registered trademark) disk, hard disk, etc.) or an optical disk (CD-ROM, DVD) as a program (software means) that can be executed by a computer (computer). , MO, etc.), stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted and distributed by a communication medium.
  • the program stored on the medium side also includes a setting program for configuring the software means (including not only the execution program but also the table and the data structure) to be executed by the computer in the computer.
  • a computer that realizes this device reads a program recorded on a recording medium, constructs software means by a setting program in some cases, and executes the above-mentioned processing by controlling the operation by the software means.
  • the recording medium referred to in the present specification is not limited to distribution, and includes storage media such as magnetic disks and semiconductor memories provided in devices connected inside a computer or via a network.
  • the present invention is not limited to the above embodiment, and can be variously modified at the implementation stage without departing from the gist thereof.
  • each embodiment may be carried out in combination as appropriate as possible, in which case the combined effect can be obtained.
  • the above-described embodiment includes inventions at various stages, and various inventions can be extracted by an appropriate combination in a plurality of disclosed constituent requirements.
  • Input / output interface (input / output IF) 106,606 ... Bus 107,607 ... Key input unit 108,608 ... Speaker 109,609 ... Display unit 110,610 ... Microphone (microphone) 111,611 ... Camera 200 ... Wireless microphone (MIC) 300 ... Sensor group 400 ... Network (NW)

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Hospice & Palliative Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Developmental Disabilities (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一実施形態に係るメッセージ選択装置は、発信者の感情に対応する複数のメッセージを保持するメッセージデータベースと、発信者の感情を推定するための発信者情報を取得する発信者情報取得部と、発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する受け手情報取得部と、発信者情報取得部で取得した発信者情報に基づいて発信者の感情を推定すると共に、受け手情報取得部で取得した受け手情報に基づいて受け手の感情を推定し、それぞれの推定した感情に基づいて、メッセージデータベースが保持する複数のメッセージの中から一つのメッセージを選択するメッセージ選択部と、を備える。

Description

メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム
　この発明の実施形態は、メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラムに関する。
　発信者の感情に基づいてメッセージを提示するための技術が各種提案されている。
　例えば、特許文献１は、犬の鳴き声の特徴から犬の感情を推定する感情推定技術を開示している。また、この感情推定技術を適用して、ペットとのコミュニケーションツールを提供する製品も販売されている。この製品では、ペットの感情毎に複数のメッセージが用意されており、推定された感情に紐づけられたメッセージがランダムに提示されるようになっている。
国際公開第２００３／０１５０７６号公報
　コミュニケーションでは、発信側と受け手側の互いの感情を考慮し、場合によっては相手の感情に共感することが重要であると言われている。
　特許文献１は、コミュニケーション相手である受け手の感情を考慮する構成について全く開示していない。
　この発明は、発信者の感情に加えて、コミュニケーション相手である受け手の感情も考慮して、提示するメッセージを選択できるようにする技術を提供しようとするものである。
　上記課題を解決するために、この発明の一態様に係るメッセージ選択装置は、発信者の感情に対応する複数のメッセージを保持するメッセージデータベースと、前記発信者の感情を推定するための発信者情報を取得する発信者情報取得部と、前記発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する受け手情報取得部と、前記発信者情報取得部で取得した前記発信者情報に基づいて前記発信者の感情を推定すると共に、前記受け手情報取得部で取得した前記受け手情報に基づいて前記受け手の感情を推定し、それぞれの推定した前記感情に基づいて、前記メッセージデータベースが保持する前記複数のメッセージの中から一つのメッセージを選択するメッセージ選択部と、を備える。
　この発明の一態様によれば、発信者の感情に加えて、コミュニケーション相手である受け手の感情も考慮して、提示するメッセージを選択可能とする技術を提供することができる。
図１Ａは、この発明の第１実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。 図１Ｂは、メッセージ提示装置を構成する情報処理装置のハードウェア構成の一例を示す図である。 図２は、メッセージデータベースが保持する情報の一例を示す図である。 図３は、情報処理装置における処理動作の一例を示すフローチャートである。 図４Ａは、メッセージ「すごいぞ！いいぞ～！」が示す各感情成分をラッセルの感情円環モデル上にモデル化した図である。 図４Ｂは、メッセージ「なんだか、ドキドキする！」が示す各感情成分をラッセルの感情円環モデル上にモデル化した図である。 図５Ａは、図４Ａの各感情ベクトルに基づいて取得されるメッセージ「すごいぞ！いいぞ～！」の感情ベクトルを示す図である。 図５Ｂは、図４Ｂの各感情ベクトルに基づいて取得されるメッセージ「なんだか、ドキドキする！」の感情ベクトルを示す図である。 図６Ａは、図５Ａのメッセージの感情ベクトルと受け手感情の感情ベクトルとの関係を示す図である。 図６Ｂは、図５Ｂのメッセージの感情ベクトルと受け手感情の感情ベクトルとの関係を示す図である。 図７は、この発明の第２実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。 図８は、図７のメッセージ提示装置における発信者装置を構成する情報処理装置のハードウェア構成の一例を示す図である。 図９Ａは、図８の情報処理装置における処理動作の一例を示すフローチャートである。 図９Ｂは、図７のメッセージ提示装置における受け手装置を構成する情報処理装置における処理動作の一例を示すフローチャートである。 図１０は、この発明の第３実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。 図１１は、第３実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の別の例における受け手装置の構成を示すブロック図である。 図１２は、第３実施形態に係るメッセージ選択装置における割合データベースが保持する情報の一例を示す図である。
　以下、図面を参照して、この発明に係わる実施形態を説明する。
　［第１実施形態］
　図１Ａは、この発明の第１実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。メッセージ選択装置は、メッセージデータベース１０、発信者情報取得部２０、受け手情報取得部３０、及びメッセージ選択部４０を備える。メッセージ提示装置は、メッセージ選択装置とメッセージ提示部５０とを備える。なお、図１Ａでは、「メッセージデータベース」を「メッセージＤＢ」と記載している。
　ここで、メッセージデータベース１０は、発信者の感情に対応する複数のメッセージを保持する。
　発信者情報取得部２０は、発信者の感情を推定するための発信者情報を取得する。発信者は、例えば、犬、猫、鳥などの感情に応じて様々な鳴き声や呻き声を発するペットを含む。また、発信者は、未だ言語を操れず感情を鳴き声や呻き声で表す人間の乳幼児を含み得る。発信者情報は、少なくとも、発信者が発した音声に関する音声情報を含む。発信者情報は、それ以外にも、発信者の外見を撮像した画像情報、発信者の体温や心拍数等の生体の状態を示す生体情報、等の、発信者の感情を推定するのに利用可能な様々な情報を含むことができる。
　受け手情報取得部３０は、発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する。受け手は、例えば、ペットの飼い主や人間の乳幼児の親等を含む。受け手情報は、例えば、受け手の発言に関する音声情報、受け手の外見を撮像した画像情報、受け手生体情報、等の、受け手の感情を推定するのに利用可能な様々な情報を含み得る。
　メッセージ選択部４０は、発信者情報取得部２０で取得した発信者情報に基づいて発信者の感情を推定すると共に、受け手情報取得部３０で取得した受け手情報に基づいて受け手の感情を推定し、それぞれの推定した感情に基づいて、メッセージデータベース１０が保持する複数のメッセージの中から一つのメッセージを選択する。
　このメッセージ選択部４０は、より詳細には、メッセージ群取得部４１、感情推定部４２、及び選択部４３を含む。
　メッセージ群取得部４１は、発信者情報取得部２０で取得した発信者情報に対応するメッセージ群をメッセージデータベース１０から取得する。
　感情推定部４２は、メッセージ群取得部４１で取得したメッセージ群の各メッセージが示す感情を推定すると共に、受け手情報取得部３０で取得した受け手情報が示す感情を推定する。
　選択部４３は、感情推定部４２によって推定したメッセージ群の各メッセージが示す感情に基づいて、感情推定部４２によって推定した受け手の感情に最も近いメッセージを選択する。
　また、メッセージ提示部５０は、メッセージ選択部４０によって選択されたメッセージを受け手に提示する。
　図１Ｂは、図１Ａのメッセージ提示装置を構成する情報処理装置のハードウェア構成の一例を示す図である。情報処理装置は、専用の筐体を備えるコミュニケーション装置として提供されても良いし、スマートフォンやパーソナルコンピュータなどの汎用のコンピュータによって実現されても良い。
　情報処理装置は、図１Ｂに示すように、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ１０１を有する。そして、情報処理装置では、このプロセッサ１０１に対し、プログラムメモリ１０２と、データメモリ１０３と、通信インタフェース１０４と、入出力インタフェース１０５とが、バス１０６を介して接続される。なお、図１Ｂでは、「入出力インタフェース」を「入出力ＩＦ」と略記している。
　ここで、プログラムメモリ１０２は、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組合せて使用されたものである。このプログラムメモリ１０２には、プロセッサ１０１が第１実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。すなわち、上記の発信者情報取得部２０、受け手情報取得部３０、メッセージ選択部４０、及びメッセージ提示部５０の各部における処理機能部は、何れも、プログラムメモリ１０２に格納されたプログラムを上記プロセッサ１０１により読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部又は全部は、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式によって実現されても良い。
　また、データメモリ１０３は、有形のコンピュータ可読記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとが組合せて使用されたものである。このデータメモリ１０３は、各種処理が行われる過程で取得及び作成された各種データが記憶されるために用いられる。すなわち、データメモリ１０３には、各種処理が行われる過程で、適宜、各種データを記憶するための領域が確保される。そのような領域として、データメモリ１０３には、例えば、メッセージデータベース記憶部１０３１、一時記憶部１０３２、及び提示情報記憶部１０３３を設けることができる。なお、図１Ｂでは、「メッセージデータベース記憶部」を「メッセージＤＢ記憶部」と記載している。
　メッセージデータベース記憶部１０３１は、発信者の感情に対応する複数のメッセージを記憶する。すなわち、上記メッセージデータベース１０が、このメッセージデータベース記憶部１０３１に構成されることができる。
　一時記憶部１０３２は、プロセッサ１０１が、上記発信者情報取得部２０、受け手情報取得部３０、及びメッセージ選択部４０としての動作を実施した際に取得又は生成する、発信者情報、受け手情報、メッセージ群、感情、等のデータを記憶する。
　提示情報記憶部１０３３は、プロセッサ１０１が上記メッセージ選択部４０としての動作を実施した際に選択され、メッセージ提示部５０としての動作を実施した際に受け手に提示されるメッセージを記憶する。
　通信インタフェース１０４は、一つ以上の有線又は無線の通信モジュールを含むことができる。
　例えば、通信インタフェース１０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線技術を利用した無線通信モジュールを含む。この無線通信モジュールは、プロセッサ１０１の制御の下、ワイヤレスマイクロフォン２００からの音声信号、センサ群３００のセンサからのセンサ信号、等を受信する。なお、図１Ｂでは、「ワイヤレスマイクロフォン」を「ＭＩＣ」と記している。そして、無線通信モジュールは、それら受信した信号をプロセッサ１０１が処理可能な情報に変換して、データメモリ１０３の一時記憶部１０３２に記憶することができる。例えば、ワイヤレスマイクロフォン２００を発信者に装着する又は発信者の近傍に配置することで、情報処理装置は、発信者の音声情報を取得することができる。また、センサ群３００のセンサ、例えばカメラ等のイメージセンサを発信者を撮影するように設置したり、体温センサや心拍センサ等の生体センサを発信者に装着したりすることで、情報処理装置は、発信者の画像情報や生体情報を取得することができる。すなわち、プロセッサ１０１及び通信インタフェース１０４は、発信者情報取得部２０として機能することができる。また、センサ群３００のセンサ、例えば体温センサや心拍センサ等の生体センサを受け手に装着することで、情報処理装置は、受け手の生体情報を取得することができる。すなわち、プロセッサ１０１及び通信インタフェース１０４は、受け手情報取得部３０としても機能することができる。
　更に、通信インタフェース１０４は、例えば、Ｗｉ－Ｆｉアクセスポイントや携帯電話基地局と無線接続する無線通信モジュールを含んでも良い。この無線通信モジュールは、プロセッサ１０１の制御の下、Ｗｉ－Ｆｉアクセスポイントや携帯電話基地局を介してネットワーク４００上の他の情報処理装置やサーバ装置との間で通信を行い、各種情報を送受信することができる。なお、図１Ｂでは、「ネットワーク」を「ＮＷ」と記載している。ネットワーク４００は、インターネットを含むＩＰ網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、例えば公衆有線網や携帯電話網、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等が用いられる。
　また、入出力インタフェース１０５には、キー入力部１０７、スピーカ１０８、表示部１０９、マイクロフォン１１０、及びカメラ１１１が接続されている。なお、図１Ｂでは、「マイクロフォン」を「マイク」と記載している。
　キー入力部１０７は、情報処理装置のユーザである受け手がプロセッサ１０１に動作指示を与えるための操作キーやボタンを含む。入出力インタフェース１０５は、キー入力部１０７の操作に応じて、その操作信号をプロセッサ１０１に入力する。
　スピーカ１０８は、入出力インタフェース１０５から入力された信号に応じた音を発生する。例えば、プロセッサ１０１により、提示情報記憶部１０３３に記憶されたメッセージを音声情報に変換し、該音声情報を入出力インタフェース１０５により音声信号としてスピーカ１０８に入力することで、メッセージを音声として受け手に提示することができる。すなわち、プロセッサ１０１、入出力インタフェース１０５、及びスピーカ１０８は、メッセージ提示部５０として機能することができる。
　表示部１０９は、例えば液晶、有機ＥＬ（Electro Luminescence）、等を使用した表示デバイスであり、入出力インタフェース１０５から入力された信号に応じた画像を表示する。例えば、プロセッサ１０１により、提示情報記憶部１０３３に記憶されたメッセージを画像情報に変換し、該画像情報を入出力インタフェース１０５により画像信号として表示部１０９に入力することで、メッセージを画像として受け手に提示することができる。すなわち、プロセッサ１０１、入出力インタフェース１０５、及び表示部１０９は、メッセージ提示部５０として機能することができる。なお、キー入力部１０７及び表示部１０９は、一体的なデバイスとして構成されても良い。すなわち、表示デバイスの表示画面上に、静電方式又は圧力方式を採用した入力検知シートを配置した、いわゆるタブレット型の入力・表示デバイスとしても良い。
　マイクロフォン１１０は、近傍の音を集音して音声信号として入出力インタフェース１０５に入力する。入出力インタフェース１０５は、プロセッサ１０１の制御の下、入力された音声信号を音声情報に変換し、それを一時記憶部１０３２に記憶する。情報処理装置が、例えばスマートフォン等の受け手近傍に存在するものである場合、マイクロフォン１１０は、受け手の発した音声を集音する。よって、プロセッサ１０１及び入出力インタフェース１０５は、受け手情報取得部３０として機能することができる。また、受け手と発信者との距離が近く、マイクロフォン１１０が受け手と発信者との両者の音声を集音できるのであれば、プロセッサ１０１及び入出力インタフェース１０５は、発信者情報取得部２０として機能することができる。プロセッサ１０１は、例えば、音声情報の周波数等の特徴量によって、或いは、音声情報を文章として或る程度意味が通じるよう音声認識できるか、等の条件により、音声情報が受け手情報と発信者情報との何れであるのかを判定することが可能である。
　カメラ１１１は、視野内を撮像して撮像信号を入出力インタフェース１０５に入力する。入出力インタフェース１０５は、プロセッサ１０１の制御の下、入力された撮像信号を画像情報に変換し、それを一時記憶部１０３２に記憶する。カメラ１１１の視野に受け手が入っていれば、プロセッサ１０１及び入出力インタフェース１０５は、受け手の画像情報を取得する受け手情報取得部３０として機能することができる。また、カメラ１１１の視野に発信者が入っていれば、プロセッサ１０１及び入出力インタフェース１０５は、発信者の画像情報を取得する発信者情報取得部２０として機能することができる。プロセッサ１０１は、例えば、画像情報の特徴量によって、画像情報が受け手情報と発信者情報との何れであるのかを判定することが可能である。
　なお、入出力インタフェース１０５は、フラッシュメモリなどの半導体メモリといった記録媒体のリード／ライト機能を有しても良いし、或いは、そのような記録媒体のリード／ライト機能を持ったリーダライタとの接続機能を有しても良い。これにより、情報処理装置に対して着脱自在な記録媒体を、複数のメッセージを記憶するメッセージデータベース記憶部とすることができる。入出力インタフェース１０５は、更に、他の機器との接続機能を有して良い。
　図２は、メッセージデータベース記憶部１０３１に構成されたメッセージデータベース１０が保持する情報の一例を示す図である。この例は、発信者を犬、受け手を人間とした場合の例である。図２に示すように、メッセージデータベース１０は、発信者である犬の感情である「たのしい」、「かなしい」、「要求」、…について、それぞれ対応する複数のメッセージを含むメッセージ群を記憶している。例えば、「たのしい」という感情に対し、メッセージ群は、「すごいぞ！いいぞ～！」、「なんだか、ドキドキする！」、…等のメッセージを含む。
　次に、メッセージ選択装置を備えるメッセージ提示装置の動作を説明する。ここでは、発信者を犬、受け手を人間とした場合を例に説明する。
　図３は、メッセージ提示装置における処理動作の一例を示すフローチャートである。このフローチャートは、メッセージ提示装置の、発信者情報取得部２０、受け手情報取得部３０、メッセージ選択部４０、及びメッセージ提示部５０として機能する情報処理装置のプロセッサ１０１における処理動作を示している。例えば、ワイヤレスマイクロフォン２００を発信者である犬に装着する又は犬の近傍に配置した後、入出力インタフェース１０５を介してキー入力部１０７からメッセージ提示の開始が指示されると、プロセッサ１０１は、このフローチャートに示す動作を開始する。なお、ワイヤレスマイクロフォン２００だけでなく、更に、イメージセンサや生体センサ等のセンサ群３００を利用しても良いが、ここでは、発信者情報としての犬の鳴き声のみから、犬の感情を推測するものとする。
　先ず、プロセッサ１０１は、発信者情報取得部２０として機能して、通信インタフェース１０４により、ワイヤレスマイクロフォン２００が集音した発信者音声、つまり犬の鳴き声を取得したか否か判断する（ステップＳ１）。ここで、発信者音声を取得していないと判断した場合（ステップＳ１のＮＯ）には、プロセッサ１０１は、このステップＳ１の処理を繰り返す。
　これに対して、発信者音声を取得したと判断した場合（ステップＳ１のＹＥＳ）には、プロセッサ１０１は、取得した発信者音声を一時記憶部１０３２に記憶して、メッセージ選択部４０のメッセージ群取得部４１としての動作を実施する。
　すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶した発信者音声に基づいて、発信者感情つまり犬の感情を取得する（ステップＳ２）。発信者感情の取得手法は、本実施形態では特に限定しない。例えば、犬の感情は、特許文献１に開示されているような手法によって取得することができる。
　そして、プロセッサ１０１は、メッセージデータベース記憶部１０３１に記憶したメッセージデータベース１０より、取得した発信者感情に対応するメッセージ群を取得して、一時記憶部１０３２に記憶する（ステップＳ３）。
　その後、プロセッサ１０１は、感情推定部４２としての動作を実施する。
　すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶したメッセージ群が含む複数のメッセージのそれぞれについて、各メッセージが示す感情成分の割合を算出する（ステップＳ４）。感情成分の割合の算出手法は、本実施形態では特に限定しない。例えば、プログラムメモリ１０２又はデータメモリ１０３に記憶した感情成分の割合の算出アルゴリズムにより感情成分の割合を算出することができる。また、インターネットには、既存技術として、テキスト感情認識ＡＩ（例えば、ｈｔｔｐｓ：／／ｅｍｏｔｉｏｎ－ａｉ．ｕｓｅｒｌｏｃａｌ．ｊｐ／）も提供されている。インターネット上の何れかのサイトに提供されているテキストから感情成分の割合を算出する感情認識リソースを利用する場合には、プロセッサ１０１は、そのリソースを提供するネットワーク４００上の特定サイトに、通信インタフェース１０４を介して、メッセージのテキストを送信する。これにより、プロセッサ１０１は、当該特定サイトから、送信したテキストに対応する感情成分の割合データを受信することができる。
　例えば、プロセッサ１０１は、図２に示す「たのしい」という感情に対応するメッセージ群のメッセージ「すごいぞ！いいぞ～！」の感情成分の割合として、喜び＝０．８３、好意＝０．８７、恐れ＝０．０５、悲しみ＝０．０４、怒り＝０．５５を算出する。また、メッセージ「なんだか、ドキドキする！」の感情成分の割合として、プロセッサ１０１は、喜び＝０．６６、好意＝０．８８、恐れ＝０．０４、悲しみ＝０．０９、怒り＝０．０７を算出する。
　次に、プロセッサ１０１は、各メッセージについて、算出した各感情成分を感情ベクトル化する（ステップＳ５）。感情ベクトルとは、ラッセルの感情円環モデル上におけるベクトルのことを言う。ラッセルの感情円環モデルとは、感情価と覚醒価を軸とした２次元空間にて感情をマッピングしたモデルのことである。ラッセルの感情円環モデルは、例えば、「J. A. Russell, "A circumplex model of affect." Journal of personality and social psychology, vol.39, no.6, p.1161, 1980.」に開示されている。
　図４Ａは、メッセージ「すごいぞ！いいぞ～！」が示す各感情成分をラッセルの感情円環モデル上にモデル化した図であり、図４Ｂは、メッセージ「なんだか、ドキドキする！」が示す各感情成分をラッセルの感情円環モデル上にモデル化した図である。ラッセルの感情円環モデルにおいて、感情価軸は、右へ行くに従って「快」の度合いが高まり、左へ行くに従って「不快」の度合いが高まる。覚醒価軸は、上へ行くに従って「覚醒」の度合いが高まり、下へ行くに従って「沈静」の度合いが高まる。感情の各成分は、このラッセルの感情円環モデル上に、原点からの向きとして表される。プロセッサ１０１は、算出した感情の割合を、ベクトルの大きさ（ｍｉｎ０～ＭＡＸ１）、感情がマッピングされている原点からの方向をベクトルの向き、として、ラッセルの感情円環モデル上においてベクトル化する。
　そして、プロセッサ１０１は、各メッセージについて、感情成分の感情ベクトルを足し合わせすることで、各メッセージの感情ベクトルを取得する（ステップＳ６）。ラッセルの感情円環モデル上での感情ベクトル及び合力の考え方については、例えば、「有賀玲子，渡邊淳司，布引純史，「図形の伸縮によるエージェントの感情表現に関する印象評価」，ヒューマンインタフェースシンポジウム 2017 論文集 (2017).」に開示されている。
　図５Ａは、図４Ａの各感情ベクトルに基づいて取得されるメッセージ「すごいぞ！いいぞ～！」の感情ベクトルＭＶ１を示す図である。また、図５Ｂは、図４Ｂの各感情ベクトルに基づいて取得されるメッセージ「なんだか、ドキドキする！」の感情ベクトルＭＶ２を示す図である。
　また、プロセッサ１０１は、受け手である人間の感情についても、感情ベクトルを取得する。
　そのために、プロセッサ１０１は、先ず、受け手情報取得部３０として、受け手情報を取得する（ステップＳ７）。例えば、プロセッサ１０１は、入出力インタフェース１０５を介して、マイクロフォン１１０により集音された受け手の音声及び／又はカメラ１１１により撮像された受け手の人間の顔画像を、受け手情報として一時記憶部１０３２に記憶する。
　そして、プロセッサ１０１は、再び感情推定部４２としての動作を実施して、受け手の感情の感情ベクトルを取得する。
　すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶した音声及び／又は顔画像から、受け手である人間の感情成分の割合を算出する（ステップＳ８）。受け手の感情成分の割合の算出手法についても、本実施形態では特に限定しない。例えば、音声と顔画像に基づく感情成分の割合の算出手法については、「Panagiotis Tzirakis, George Trigeorgis, Mihalis A. Nicolaou, Bjorn W. Schuller, Stefanos Zafeiriou, "End-to-End Multimodal Emotion Recognition Using Deep Neural Networks," IEEE Journal of Selected Topics in Signal Processing, vol.11, No.8, pp.1301-1309, 2017.」に開示されている。プロセッサ１０１は、プログラムメモリ１０２又はデータメモリ１０３に記憶した感情成分の割合の算出アルゴリズムにより感情成分の割合を算出することができる。また、インターネットには、既存技術として、表情感情認識ＡＩ（例えば、ｈｔｔｐｓ：／／ｅｍｏｔｉｏｎ－ａｉ．ｕｓｅｒｌｏｃａｌ．ｊｐ／ｆａｃｅ）も提供されている。インターネット上の何れかのサイトに提供されている表情から感情成分の割合を算出する感情認識リソースを利用する場合には、プロセッサ１０１は、そのリソースを提供するネットワーク４００上の特定サイトに、通信インタフェース１０４を介して、顔画像を送信する。これにより、プロセッサ１０１は、当該特定サイトから、送信した顔画像に対応する感情成分の割合データを受信することができる。
　次に、プロセッサ１０１は、算出した受け手の各感情成分を感情ベクトル化する（ステップＳ９）。
　そして、プロセッサ１０１は、感情成分の感情ベクトルを足し合わせすることで、受け手である人間の感情の感情ベクトルを取得する（ステップＳ１０）。以下、受け手である人間の感情を受け手感情と記載する。
　こうして、メッセージ群の各メッセージの感情ベクトルと受け手感情の感情ベクトルとを取得したならば、プロセッサ１０１は、選択部４３としての動作を実施する。
　すなわち、先ず、プロセッサ１０１は、受け手感情の感情ベクトルに最も近いメッセージの感情ベクトルを判別する（ステップＳ１１）。例えば、プロセッサ１０１は、受け手感情の感情ベクトルとの内積が一番大きいメッセージの感情ベクトルを判別する。図６Ａは、図５Ａのメッセージの感情ベクトルＭＶ１と受け手感情の感情ベクトルＲＶとの関係を示す図であり、図６Ｂは、図５Ｂのメッセージの感情ベクトルＭＶ２と受け手感情の感情ベクトルＲＶとの関係を示す図である。この例では、受け手感情の感情ベクトルＲＶに近いのは、メッセージの感情ベクトルＭＶ１となる。
　そして、プロセッサ１０１は、判別したメッセージの感情ベクトルを持つメッセージを選択する（ステップＳ１２）。例えば、プロセッサ１０１は、上記の例では、感情ベクトルＭＶ１のメッセージ「すごいぞ！いいぞ～！」を選択する。プロセッサ１０１は、選択したメッセージを、提示情報記憶部１０３３に記憶する。
　こうして、メッセージ群の中からメッセージが選択できたならば、プロセッサ１０１は、メッセージ提示部５０として機能して、選択されたメッセージを提示する（ステップＳ１３）。すなわち、プロセッサ１０１は、提示情報記憶部１０３３に記憶したメッセージを、入出力インタフェース１０５を介してスピーカ１０８により音声として、或いは、表示部１０９に画像として、出力することで、メッセージを提示する。
　その後は、プロセッサ１０１は、上記ステップＳ１から処理を繰り返す。
　以上に説明した第１実施形態に係るメッセージ選択装置は、発信者の感情に対応する複数のメッセージを保持するメッセージデータベース１０と、発信者の感情を推定するための発信者情報を取得する発信者情報取得部２０と、発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する受け手情報取得部３０と、発信者情報取得部２０で取得した発信者情報に基づいて発信者の感情を推定すると共に、受け手情報取得部３０で取得した受け手情報に基づいて受け手の感情を推定し、それぞれの推定した感情に基づいて、メッセージデータベース１０が保持する複数のメッセージの中から一つのメッセージを選択するメッセージ選択部４０と、を備える。よって、発信者の感情に加えて、コミュニケーション相手である受け手の感情も考慮して、提示するメッセージを選択することが可能となる。
　また、第１実施形態に係るメッセージ選択装置は、メッセージ選択部４０が、発信者情報取得部２０で取得した発信者情報に対応するメッセージ群をメッセージデータベース１０から取得するメッセージ群取得部４１と、メッセージ群取得部４１で取得したメッセージ群の各メッセージが示す感情を推定すると共に、受け手情報取得部３０で取得した受け手情報が示す感情を推定する感情推定部４２と、感情推定部４２によって推定したメッセージ群の各メッセージが示す感情に基づいて、感情推定部４２によって推定した受け手の感情に最も近いメッセージを選択する選択部４３と、を備えるようにしている。このように、発信者の感情に基づいて生成された複数のメッセージの中から、受け手の感情に最も近いメッセージを選択することで、発信者だけでなく受け手の感情も考慮し、受け手の感情に寄ったメッセージを選択することができるので、受け手側が共感されていると感じ易くなり、コミュニケーションがスムーズになる。
　また、第１実施形態に係るメッセージ選択装置では、感情推定部４２は、メッセージ群取得部４１で取得したメッセージ群の各メッセージと、受け手情報取得部３０で取得した受け手情報とを、感情ベクトルに変換し、選択部４３は、感情推定部４２によって変換したメッセージ群の各メッセージの感情ベクトルの中から、感情推定部４２によって変換した受け手の感情ベクトルに最も近い感情ベクトルを判別し、その判別した感情ベクトルを持つメッセージを選択する。このように、各メッセージと受け手情報とを感情ベクトル化することで、発信者と受け手両者の感情の比較が可能となり、メッセージの選択を容易化することができる。
　また、第１実施形態に係るメッセージ選択装置では、感情推定部４２は、メッセージ群取得部４１で取得したメッセージ群のメッセージそれぞれについて、メッセージが示す感情が含む感情成分の割合を算出し、その算出した感情成分の割合に基づいて各感情成分を、それぞれの感情ベクトルに変換し、各感情成分の感情ベクトルを足し合わせることで、メッセージの感情ベクトルを取得する。よって、メッセージを容易に感情ベクトル化することができる。
　なお、第１実施形態に係るメッセージ選択装置において、感情ベクトルは、感情価と覚醒価を軸とした２次元空間にて感情をマッピングしたラッセルの感情円環モデル上におけるベクトルとすることができる。
　また、第１実施形態に係るメッセージ提示装置は、第１実施形態に係るメッセージ選択装置と、メッセージ選択装置のメッセージ選択部４０によって選択されたメッセージを受け手に提示するメッセージ提示部５０と、を備える。よって、発信者の感情を伝えつつ、受け手の感情に近いメッセージを提示することができるので、受け手に対しての共感を短いメッセージの中で表現することが可能となる。
　［第２実施形態］
　前記第１実施形態では、メッセージ選択装置を備えるメッセージ提示装置を、受け手が操作する一つの装置として構成している。しかしながら、メッセージ選択装置又はメッセージ提示装置は、複数の装置に分割されたシステムとして提供されても良い。
　図７は、この発明の第２実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。図７に示すように、メッセージ提示装置は、発信者が有する発信者装置６０と、受け手が有する受け手装置７０と、の二つの装置から構成される。
　発信者装置６０は、第１実施形態で説明したような、メッセージデータベース１０と、発信者情報取得部２０と、受け手情報取得部３０と、メッセージ選択部４０のメッセージ群取得部４１と、メッセージ提示部５０と、を備える。更に、発信者装置６０は、受け手装置７０との間でデータの送受信を行う発信者通信部６１を備える。本第２実施形態では、発信者装置６０は、犬等のペットの首輪に装着されるコミュニケーション装置を想定する。
　受け手装置７０は、第１実施形態で説明したような、メッセージ選択部４０の感情推定部４２及び選択部４３を含む。更に、受け手装置７０は、発信者装置６０との間でデータの送受信を行う受け手通信部７１を備える。本第２実施形態では、受け手装置７０は、犬等のペットの飼い主である人間が有するスマートフォンやパーソナルコンピュータを想定する。
　図８は、図７のメッセージ提示装置における発信者装置６０を構成する情報処理装置のハードウェア構成の一例を示す図である。情報処理装置は、図８に示すように、ハードウェアプロセッサ６０１を有し、このプロセッサ６０１に対し、プログラムメモリ６０２と、データメモリ６０３と、通信インタフェース６０４と、入出力インタフェース６０５とが、バス６０６を介して接続される。なお、図８では、「入出力インタフェース」を「入出力ＩＦ」と略記している。
　ここで、プログラムメモリ６０２は、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤ又はＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとが組合せて使用されたものである。このプログラムメモリ６０２には、プロセッサ６０１が第２実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。すなわち、上記の発信者情報取得部２０、受け手情報取得部３０、メッセージ群取得部４１、メッセージ提示部５０、及び発信者通信部６１の各部における処理機能部は、何れも、プログラムメモリ６０２に格納されたプログラムを上記プロセッサ６０１により読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部又は全部は、ＡＳＩＣ、ＤＳＰ、又はＦＰＧＡなどの集積回路を含む、他の多様な形式によって実現されても良い。
　また、データメモリ６０３は、有形のコンピュータ可読記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ等の揮発性メモリとが組合せて使用されたものである。このデータメモリ６０３は、各種処理が行われる過程で取得及び作成された各種データが記憶されるために用いられる。すなわち、データメモリ６０３には、各種処理が行われる過程で、適宜、各種データを記憶するための領域が確保される。そのような領域として、データメモリ６０３には、例えば、メッセージデータベース記憶部６０３１、一時記憶部６０３２、及び提示情報記憶部６０３３を設けることができる。なお、図８では、「メッセージデータベース記憶部」を「メッセージＤＢ記憶部」と記載している。
　メッセージデータベース記憶部６０３１は、発信者の感情に対応する複数のメッセージを記憶する。すなわち、上記メッセージデータベース１０が、このメッセージデータベース記憶部６０３１に構成されることができる。
　一時記憶部６０３２は、プロセッサ６０１が、上記発信者情報取得部２０、受け手情報取得部３０、及びメッセージ群取得部４１としての動作を実施した際に取得又は生成する、発信者情報、受け手情報、メッセージ群、等のデータを記憶する。
　提示情報記憶部６０３３は、プロセッサ６０１が、上記メッセージ提示部５０としての動作を実施した際に受け手に提示されるメッセージを記憶する。
　通信インタフェース６０４は、例えば、Ｂｌｕｅｔｏｏｔｈ等の近距離無線技術を利用した無線通信モジュールを含む。この無線通信モジュールは、プロセッサ６０１の制御の下、受け手装置７０との間で、無線によりデータ通信を行う。すなわち、プロセッサ６０１及び通信インタフェース６０４は、発信者通信部６１として機能することができる。
　入出力インタフェース６０５には、キー入力部６０７、スピーカ６０８、表示部６０９、マイクロフォン６１０、及びカメラ６１１が接続されている。なお、図８では、「マイクロフォン」を「マイク」と記載している。
　キー入力部６０７は、発信者装置６０の動作を開始させるための電源キー等の操作キーやボタンを含む。入出力インタフェース６０５は、キー入力部６０７の操作に応じて、その操作信号をプロセッサ６０１に入力する。
　スピーカ６０８は、入出力インタフェース６０５から入力された信号に応じた音を発生する。例えば、プロセッサ６０１により、提示情報記憶部６０３３に記憶されたメッセージを音声情報に変換し、該音声情報を入出力インタフェース６０５により音声信号としてスピーカ６０８に入力することで、メッセージを音声として受け手に提示することができる。すなわち、プロセッサ６０１、入出力インタフェース６０５、及びスピーカ６０８は、メッセージ提示部５０として機能することができる。
　表示部６０９は、例えば液晶、有機ＥＬ、等を使用した表示デバイスであり、入出力インタフェース６０５から入力された信号に応じた画像を表示する。例えば、プロセッサ６０１により、提示情報記憶部６０３３に記憶されたメッセージを画像情報に変換し、該画像情報を入出力インタフェース６０５により画像信号として表示部６０９に入力することで、メッセージを画像として受け手に提示することができる。すなわち、プロセッサ６０１、入出力インタフェース６０５、及び表示部６０９は、メッセージ提示部５０として機能することができる。
　マイクロフォン６１０は、近傍の音を集音して音声信号として入出力インタフェース６０５に入力する。入出力インタフェース６０５は、プロセッサ６０１の制御の下、入力された音声信号を音声情報に変換し、それを一時記憶部６０３２に記憶する。マイクロフォン６１０は、発信者及び受け手の発した音声を集音する。よって、プロセッサ６０１及び入出力インタフェース６０５は、発信者情報取得部２０及び受け手情報取得部３０として機能することができる。
　カメラ６１１は、視野内を撮像して撮像信号を入出力インタフェース６０５に入力する。入出力インタフェース６０５は、プロセッサ６０１の制御の下、入力された撮像信号を画像情報に変換し、それを一時記憶部６０３２に記憶する。発信者装置６０を発信者に装着した際に、カメラ６１１が発信者の前方を撮像するように取り付けられることで、カメラ６１１は、受け手を撮像することができる。よって、プロセッサ６０１及び入出力インタフェース６０５は、受け手の画像情報を取得する受け手情報取得部３０として機能することができる。
　なお、入出力インタフェース６０５は、フラッシュメモリなどの半導体メモリといった記録媒体のリード／ライト機能を有しても良いし、或いは、そのような記録媒体のリード／ライト機能を持ったリーダライタとの接続機能を有しても良い。これにより、情報処理装置に対して着脱自在な記録媒体を、複数のメッセージを記憶するメッセージデータベース記憶部とすることができる。入出力インタフェース６０５は、更に、発信者の生体情報を検出する生体センサ等、他の機器との接続機能を有して良い。
　また、受け手装置７０を構成する情報処理装置は、第１実施形態で説明した図１Ｂに示すようなハードウェア構成であって良い。但し、データメモリ１０３にメッセージデータベース記憶部１０３１は不要である。プログラムメモリ１０２には、プロセッサ１０１が第２実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。すなわち、上記の感情推定部４２、選択部４３、及び受け手通信部７１の各部における処理機能部は、何れも、プログラムメモリ１０２に格納されたプログラムを上記プロセッサ１０１により読み出させて実行させることにより実現され得る。
　次に、本実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の動作を説明する。
　図９Ａは、メッセージ提示装置における発信者装置６０を構成する情報処理装置における処理動作の一例を示すフローチャートである。このフローチャートは、発信者装置６０の、発信者情報取得部２０、受け手情報取得部３０、メッセージ群取得部４１、メッセージ提示部５０、及び発信者通信部６１として機能する情報処理装置のプロセッサ６０１における処理動作を示している。例えば、発信者装置６０を発信者に装着、例えば犬の首輪等に装着した後、キー入力部６０７の電源キーのオン操作により入出力インタフェース６０５を介してメッセージ提示の開始が指示されると、プロセッサ６０１は、このフローチャートに示す動作を開始する。
　先ず、プロセッサ６０１は、発信者情報取得部２０として機能して、入出力インタフェース６０５により、マイクロフォン６１０が集音した発信者音声、例えば犬の鳴き声を取得したか否か判断する（ステップＳ６１）。ここで、発信者音声を取得していないと判断した場合（ステップＳ６１のＮＯ）には、プロセッサ６０１は、このステップＳ６１の処理を繰り返す。
　これに対して、発信者音声を取得したと判断した場合（ステップＳ６１のＹＥＳ）には、プロセッサ６０１は、取得した発信者音声を一時記憶部６０３２に記憶して、メッセージ群取得部４１としての動作を実施する。
　すなわち、先ず、プロセッサ６０１は、一時記憶部６０３２に記憶した発信者音声に基づいて、発信者感情、例えば犬の感情を取得する（ステップＳ６２）。発信者感情の取得手法は、本実施形態では特に限定しない。
　そして、プロセッサ６０１は、メッセージデータベース記憶部６０３１に記憶したメッセージデータベース１０より、取得した発信者感情に対応するメッセージ群を取得して、一時記憶部６０３２に記憶する（ステップＳ６３）。
　次に、プロセッサ６０１は、受け手情報取得部３０として機能して、受け手情報を取得する（ステップＳ６４）。例えば、プロセッサ６０１は、入出力インタフェース６０５を介して、マイクロフォン６１０により集音された受け手の音声及び／又はカメラ６１１により撮像された受け手の人間の顔画像を、受け手情報として一時記憶部６０３２に記憶する。
　その後、プロセッサ６０１は、発信者通信部６１としての動作を実施する。
　すなわち、先ず、プロセッサ６０１は、一時記憶部６０３２に記憶したメッセージ群と受け手情報とを、通信インタフェース６０４により受け手装置７０へ送信する（ステップＳ６５）。
　そして、プロセッサ６０１は、通信インタフェース６０４により受け手装置７０から選択メッセージを受信したか否か判断する（ステップＳ６６）。ここで、選択メッセージを受信していないと判断した場合（ステップＳ６６のＮＯ）には、プロセッサ６０１は、タイムアウトとなったか否か、つまり予め設定された時間が経過したか否か判断する（ステップＳ６７）。未だタイムアウトとなっていない場合（ステップＳ６７のＮＯ）には、プロセッサ６０１は、上記ステップＳ６６から処理を繰り返す。なお、上記の予め設定された時間は、受け手装置７０においてメッセージを選択する処理に要する時間に基づいて決定されている。
　図９Ｂは、メッセージ提示装置における受け手装置７０を構成する情報処理装置における処理動作の一例を示すフローチャートである。このフローチャートは、受け手装置７０の、感情推定部４２、選択部４３、及び受け手通信部７１として機能する情報処理装置のプロセッサ１０１における処理動作を示している。例えば、入出力インタフェース１０５を介してキー入力部１０７よりメッセージ提示の開始が指示されると、プロセッサ１０１は、プログラムメモリ６０２に格納されたプログラムを読み出して、このフローチャートに示す動作を開始する。
　先ず、プロセッサ１０１は、受け手通信部７１として機能して、通信インタフェース１０４により、発信者装置６０からメッセージ群及び受け手情報を受信したか否か判断する（ステップＳ７１）。ここで、メッセージ群及び受け手情報を受信していないと判断した場合（ステップＳ７１のＮＯ）には、プロセッサ１０１は、このステップＳ７１の処理を繰り返す。
　これに対して、メッセージ群及び受け手情報を受信したと判断した場合（ステップＳ７１のＹＥＳ）には、プロセッサ１０１は、受信したメッセージ群及び受け手情報を一時記憶部１０３２に記憶して、感情推定部４２としての動作を実施する。
　すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶したメッセージ群が含む複数のメッセージのそれぞれについて、各メッセージが示す感情成分の割合を算出する（ステップＳ７２）。感情成分の割合の算出手法は、本実施形態では特に限定しない。次に、プロセッサ１０１は、各メッセージについて、算出した各感情成分を感情ベクトル化する（ステップＳ７３）。そして、プロセッサ１０１は、各メッセージについて、感情成分の感情ベクトルを足し合わせすることで、各メッセージの感情ベクトルを取得する（ステップＳ７４）。
　また、プロセッサ１０１は、一時記憶部１０３２に記憶した受け手情報である音声情報及び／又は顔画像から、受け手である人間の感情成分の割合を算出する（ステップＳ７５）。受け手の感情成分の割合の算出手法についても、本実施形態では特に限定しない。次に、プロセッサ１０１は、算出した受け手の各感情成分を感情ベクトル化する（ステップＳ７６）。そして、プロセッサ１０１は、感情成分の感情ベクトルを足し合わせすることで、受け手感情の感情ベクトルを取得する（ステップＳ７７）。
　こうして、メッセージ群の各メッセージの感情ベクトルと受け手感情の感情ベクトルとを取得したならば、プロセッサ１０１は、選択部４３としての動作を実施する。
　すなわち、先ず、プロセッサ１０１は、受け手感情の感情ベクトルに最も近いメッセージの感情ベクトルを判別する（ステップＳ７８）。そして、プロセッサ１０１は、判別したメッセージの感情ベクトルを持つメッセージを選択する（ステップＳ７９）。プロセッサ１０１は、選択したメッセージを、提示情報記憶部１０３３に記憶する。
　こうして、メッセージ群の中からメッセージが選択できたならば、プロセッサ１０１は、再び受け手通信部７１として機能して、提示情報記憶部１０３３に記憶したメッセージを、選択メッセージとして発信者装置６０に送信する（ステップＳ７１０）。
　その後は、プロセッサ１０１は、上記ステップＳ７１から処理を繰り返す。
　発信者装置６０は、通信インタフェース６０４により、この受け手装置７０から送信された選択メッセージを受信し、提示情報記憶部６０３３に記憶する。これにより、プロセッサ６０１は、選択メッセージを受信したと判断する（ステップＳ６６のＹＥＳ）。そして、プロセッサ６０１は、メッセージ提示部５０として機能して、提示情報記憶部６０３３に記憶した選択メッセージを、入出力インタフェース６０５を介してスピーカ６０８により音声として、或いは、表示部６０９に画像として、出力することで、メッセージを提示する。
　その後は、プロセッサ６０１は、上記ステップＳ６１から処理を繰り返す。
　一方、受け手装置７０から選択メッセージを受信することなくタイムアウトとなった場合（ステップＳ６７のＹＥＳ）には、プロセッサ６０１は、一時記憶部６０３２に記憶しているメッセージ群の中から一つのメッセージをランダムに選択する（ステップＳ６９）。そして、プロセッサ６０１は、その選択したメッセージを選択メッセージとして提示情報記憶部６０３３に記憶する。
　その後は、プロセッサ６０１は、上記ステップＳ６８の処理に進んで、上記ランダムに選択されたメッセージである選択メッセージを提示する。
　以上に説明した第２実施形態に係るメッセージ選択装置は、発信者が有する発信者装置６０と、受け手が有する受け手装置７０と、を含み、受け手装置７０は、少なくとも、メッセージ選択部４０の感情推定部４２及び選択部４３を含むものとしている。このように、高性能で高速な処理機能が必要とされる部分を、高機能なプロセッサ１０１を有するスマートフォンやパーソナルコンピュータに実施させることで、発信者装置６０のプロセッサ６０１としては低機能のものが利用でき、発信者装置６０を安価に提供することができる。
　また、発信者装置６０は、受け手装置７０から選択メッセージを受信しない場合には、選択したメッセージ群の複数のメッセージの中の一つを提示するので、受け手装置７０を有しない受け手に対しては、発信者の感情のみに基づく従来と同様のメッセージ提示を行うことができる。
　［第３実施形態］
　前記第１及び第２実施形態では、メッセージの感情成分の割合を感情推定部４２にて算出するものとしている。しかしながら、メッセージデータベース１０に登録されている各メッセージについて、感情成分を予め算出しておいても良い。
　図１０は、この発明の第３実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。第１実施形態のメッセージ提示装置の構成において、更に、割合データベース８０を追加している。また、図１１は、第３実施形態に係るメッセージ選択装置を備えるメッセージ提示装置の構成の別の例における受け手装置７０の構成を示すブロック図である。第２実施形態の受け手装置７０の構成において、更に、割合データベース８０を追加している。なお、これらの図では、「割合データベース」を「割合ＤＢ」と記載している。
　図１２は、割合データベース８０が保持する情報の一例を示す図である。図１２に示すように、割合データベース８０は、各メッセージについて、予め算出した感情成分を保持している。よって、感情推定部４２は、感情成分を算出することなく、メッセージの感情成分を取得することができる。
　以上に説明した第３実施形態に係るメッセージ選択装置は、発信者の感情に対応する複数のメッセージそれぞれについて、メッセージが示す感情成分の割合を保持する割合データベース８０を更に備え、感情推定部４２は、メッセージ群取得部４１で取得したメッセージ群のメッセージそれぞれについて、割合データベース８０に保持されたメッセージが示す感情成分の割合に基づいて、各感情成分を、それぞれの感情ベクトルに変換し、各感情成分の感情ベクトルを足し合わせることで、メッセージの感情ベクトルを取得する。よって、複数のメッセージそれぞれについて感情成分を算出する必要がないので、処理の高速化が図れる。
　［他の実施形態］
　上記第１乃至第３実施形態では、受け手である人間の感情を音声情報や顔画像から推定する例を説明したが、それに限らない。例えば、日本国特開２０１４－１８６４５号公報や日本国特開２０１６－１０６６８９号公報等、マイクロフォンで取得した受け手の発言内容や生体センサで取得した心拍数等の生体情報等の様々な情報に基づいて、人間の感情を推定する技術が各種提案されている。
　また、上記第１乃至第３実施形態の動作説明では、犬と人間とのコミュニケーションを例に説明したが、この用途に限定するものではない。猫や鳥等の他のペットと人間とのコミュニケーション、人間の乳幼児と親等のコミュニケーション、といった、感情を言葉として表せない発信者を対象としたコミュニケーションにおいても、各実施形態は適用可能である。
　また、上記第１乃至第３実施形態の動作説明では、感情ベクトルを用いて、発信者と受け手の感情の近さを算出するものとしたが、二者の感情の近さは、別の指標で算出しても良い。
　更に、感情ベクトルは、ラッセルの感情円環モデル上にて定義したが、他の感情モデルを用いて感情ベクトルを定義しても良い。
　また、図３、図９Ａ、及び図９Ｂのフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図３において、受け手情報を取得するステップＳ７は、ステップＳ１とステップＳ８との間の何れで実施しても構わない。また、ステップＳ７の処理は、プロセッサ１０１が並行処理能力を備える場合には、ステップＳ２乃至ステップＳ６の処理とは並行して実行しても構わない。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序を変更して構わない。
　また、メッセージ選択装置又はメッセージ提示装置を構成する情報処理装置は、その機能の一部を、ネットワーク４００上のサーバ装置によって構成しても良い。例えば、メッセージデータベース１０やメッセージ選択部４０をサーバ装置に設けることができる。
　また、メッセージ選択装置又はメッセージ提示装置の機能の全てをサーバ装置に設けても良い。この場合、スキルとして、発信者情報及び受け手情報の収集機能と、選択メッセージの出力機能を提供することで、受け手に、ネットワーク４００に接続されたスマートスピーカを、あたかもメッセージ提示装置であるかのように見せることができる。例えば、ユーザインタフェースとしてマイクロフォンとスピーカのみを有するスマートスピーカは、発信者と受け手の音声情報をネットワーク４００を介してサーバ装置に送信し、選択メッセージを、サーバ装置からネットワーク４００を介して受信してスピーカにより音声出力することができる。また、例えば、ユーザインタフェースとして更にカメラとディスプレイを有するスマートスピーカは、受け手の音声情報と顔画像情報とをネットワーク４００を介してサーバ装置に送信し、選択メッセージを、サーバ装置からネットワーク４００を介して受信してスピーカにより音声出力したり、ディスプレイにより表示出力したりすることができる。
　また、前記実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書で言う記録媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組合せて実施してもよく、その場合組合せた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
　１０…メッセージデータベース（メッセージＤＢ）
　２０…発信者情報取得部
　３０…受け手情報取得部
　４０…メッセージ選択部
　４１…メッセージ群取得部
　４２…感情推定部
　４３…選択部
　５０…メッセージ提示部
　６０…発信者装置
　６１…発信者通信部
　７０…受け手装置
　７１…受け手通信部
　８０…割合データベース（割合ＤＢ）
　１０１，６０１…プロセッサ
　１０２，６０２…プログラムメモリ
　１０３…データメモリ
　１０３１，６０３１…メッセージデータベース記憶部（メッセージＤＢ記憶部）
　１０３２，６０３２…一時記憶部
　１０３３，６０３３…提示情報記憶部
　１０４，６０４…通信インタフェース
　１０５，６０５…入出力インタフェース（入出力ＩＦ）
　１０６，６０６…バス
　１０７，６０７…キー入力部
　１０８，６０８…スピーカ
　１０９，６０９…表示部
　１１０，６１０…マイクロフォン（マイク）
　１１１，６１１…カメラ
　２００…ワイヤレスマイクロフォン（ＭＩＣ）
　３００…センサ群
　４００…ネットワーク（ＮＷ）

Claims (10)

  1. 　発信者の感情に対応する複数のメッセージを保持するメッセージデータベースと、
    　前記発信者の感情を推定するための発信者情報を取得する発信者情報取得部と、
    　前記発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する受け手情報取得部と、
    　前記発信者情報取得部で取得した前記発信者情報に基づいて前記発信者の感情を推定すると共に、前記受け手情報取得部で取得した前記受け手情報に基づいて前記受け手の感情を推定し、それぞれの推定した前記感情に基づいて、前記メッセージデータベースが保持する前記複数のメッセージの中から一つのメッセージを選択するメッセージ選択部と、
    　を備える、メッセージ選択装置。
  2. 　前記メッセージ選択部は、
    　　前記発信者情報取得部で取得した前記発信者情報に対応するメッセージ群を前記メッセージデータベースから取得するメッセージ群取得部と、
    　　前記メッセージ群取得部で取得した前記メッセージ群の各メッセージが示す感情を推定すると共に、前記受け手情報取得部で取得した前記受け手情報が示す感情を推定する感情推定部と、
    　　前記感情推定部によって推定した前記メッセージ群の前記各メッセージが示す前記感情に基づいて、前記感情推定部によって推定した前記受け手の前記感情に最も近いメッセージを選択する選択部と、
    を備える、
    　請求項１に記載のメッセージ選択装置。
  3. 　前記感情推定部は、前記メッセージ群取得部で取得した前記メッセージ群の各メッセージと、前記受け手情報取得部で取得した前記受け手情報とを、感情ベクトルに変換し、
    　前記選択部は、前記感情推定部によって変換した前記メッセージ群の前記各メッセージの前記感情ベクトルの中から、前記感情推定部によって変換した前記受け手の前記感情ベクトルに最も近い感情ベクトルを判別し、その判別した感情ベクトルを持つメッセージを選択する、
    　請求項２に記載のメッセージ選択装置。
  4. 　前記感情推定部は、前記メッセージ群取得部で取得した前記メッセージ群の前記メッセージそれぞれについて、
    　　前記メッセージが示す感情が含む感情成分の割合を算出し、
    　　その算出した前記感情成分の割合に基づいて各感情成分を、それぞれの感情ベクトルに変換し、
    　　前記各感情成分の前記感情ベクトルを足し合わせることで、前記メッセージの感情ベクトルを取得する、
    　請求項３に記載のメッセージ選択装置。
  5. 　前記発信者の前記感情に対応する前記複数のメッセージそれぞれについて、前記メッセージが示す感情成分の割合を保持する割合データベースを更に備え、
    　前記感情推定部は、前記メッセージ群取得部で取得した前記メッセージ群の前記メッセージそれぞれについて、
    　　前記割合データベースに保持された前記メッセージが示す前記感情成分の割合に基づいて、各感情成分を、それぞれの感情ベクトルに変換し、
    　　前記各感情成分の前記感情ベクトルを足し合わせることで、前記メッセージの感情ベクトルを取得する、
    　請求項３に記載のメッセージ選択装置。
  6. 　前記感情ベクトルは、感情価と覚醒価を軸とした２次元空間にて感情をマッピングしたラッセルの感情円環モデル上におけるベクトルである、
    　請求項３乃至５の何れかに記載のメッセージ選択装置。
  7. 　前記メッセージ選択装置は、前記発信者が有する発信者装置と、前記受け手が有する受け手装置と、を含み、
    　前記受け手装置は、少なくとも、前記メッセージ選択部の前記感情推定部及び前記選択部を含む、
    　請求項２に記載のメッセージ選択装置。
  8. 　請求項１乃至７の何れかに記載のメッセージ選択装置と、
    　前記メッセージ選択装置の前記メッセージ選択部によって選択された前記メッセージを前記受け手に提示するメッセージ提示部と、
    　を備える、メッセージ提示装置。
  9. 　プロセッサと、発信者の感情に対応する複数のメッセージを保持するメッセージデータベースと、を備え、前記メッセージデータベースに保持された前記複数のメッセージの中から前記発信者の感情に応じたメッセージを選択するメッセージ選択装置におけるメッセージ選択方法であって、
    　前記プロセッサにより、前記発信者の感情を推定するための発信者情報を取得し、
    　前記プロセッサにより、前記取得した前記発信者情報に基づいて前記発信者の感情を推定し、
    　前記プロセッサにより、前記発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得し、
    　前記プロセッサにより、前記取得した前記受け手情報に基づいて前記受け手の感情を推定し、
    　前記プロセッサにより、前記推定した前記発信者及び前記受け手それぞれの前記感情に基づいて、前記メッセージデータベースが保持する前記複数のメッセージの中から一つのメッセージを選択する、
    　メッセージ選択方法。
  10. 　請求項１乃至７の何れかに記載のメッセージ選択装置の前記各部としてプロセッサを機能させるメッセージ選択プログラム。
PCT/JP2020/022489 2020-06-08 2020-06-08 メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム Ceased WO2021250731A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/022489 WO2021250731A1 (ja) 2020-06-08 2020-06-08 メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム
JP2022530357A JP7435768B2 (ja) 2020-06-08 2020-06-08 メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム
US18/008,580 US20230239259A1 (en) 2020-06-08 2020-06-08 Message selection apparatus, message presentation apparatus, message selection method, and message selection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/022489 WO2021250731A1 (ja) 2020-06-08 2020-06-08 メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム

Publications (1)

Publication Number Publication Date
WO2021250731A1 true WO2021250731A1 (ja) 2021-12-16

Family

ID=78847017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022489 Ceased WO2021250731A1 (ja) 2020-06-08 2020-06-08 メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム

Country Status (3)

Country Link
US (1) US20230239259A1 (ja)
JP (1) JP7435768B2 (ja)
WO (1) WO2021250731A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064826A (ja) * 2013-09-26 2015-04-09 日本電信電話株式会社 感情検索装置、方法及びプログラム
JP2019062490A (ja) * 2017-09-28 2019-04-18 沖電気工業株式会社 制御装置、制御方法、プログラム及び制御システム
WO2019146767A1 (ja) * 2018-01-26 2019-08-01 久和 正岡 感情分析システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064826A (ja) * 2013-09-26 2015-04-09 日本電信電話株式会社 感情検索装置、方法及びプログラム
JP2019062490A (ja) * 2017-09-28 2019-04-18 沖電気工業株式会社 制御装置、制御方法、プログラム及び制御システム
WO2019146767A1 (ja) * 2018-01-26 2019-08-01 久和 正岡 感情分析システム

Also Published As

Publication number Publication date
US20230239259A1 (en) 2023-07-27
JPWO2021250731A1 (ja) 2021-12-16
JP7435768B2 (ja) 2024-02-21

Similar Documents

Publication Publication Date Title
CN103546503B (zh) 基于语音的云社交系统、方法及云分析服务器
CN106325228B (zh) 机器人的控制数据的生成方法及装置
CN105409197A (zh) 用于提供持久伙伴装置的设备和方法
JP7416295B2 (ja) ロボット、対話システム、情報処理方法及びプログラム
JP2017151517A (ja) ロボット制御システム
US20210232807A1 (en) Information processing system, storage medium, and information processing method
CN110431549A (zh) 信息处理装置、信息处理方法及程序
JPWO2020129182A1 (ja) 対話装置、対話システムおよび対話プログラム
JP4469867B2 (ja) コミュニケーションの状況を管理する装置、方法およびプログラム
CN113299309A (zh) 语音翻译方法及装置、计算机可读介质和电子设备
JP2017064853A (ja) ロボット、コンテンツ決定装置、コンテンツ決定方法、及びプログラム
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
CN112185422A (zh) 提示信息生成方法及其语音机器人
JP7435768B2 (ja) メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム
JP2017191531A (ja) コミュニケーションシステム、サーバ及びコミュニケーション方法
JP2018050161A (ja) コミュニケーションシステム
JP2015060380A (ja) 情報端末および情報処理システム
JP7400968B2 (ja) メッセージ生成装置、メッセージ提示装置、メッセージ生成方法及びメッセージ生成プログラム
JP2025048872A (ja) システム
JP2006140595A (ja) 情報変換装置及び情報変換方法、並びに通信装置及び通信方法
CN110196900A (zh) 用于终端的交互方法和装置
JP2020201669A (ja) 情報処理装置
JP2005309585A (ja) 情報処理装置および方法、並びにプログラム
JP2022129628A (ja) 電子会議システム、電子会議方法及び端末装置
JP7628264B1 (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20939855

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530357

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20939855

Country of ref document: EP

Kind code of ref document: A1