[go: up one dir, main page]

WO2019146405A1 - Information processing device, information processing system, and program for evaluating tester reaction to product using expression analysis technique - Google Patents

Information processing device, information processing system, and program for evaluating tester reaction to product using expression analysis technique Download PDF

Info

Publication number
WO2019146405A1
WO2019146405A1 PCT/JP2019/000335 JP2019000335W WO2019146405A1 WO 2019146405 A1 WO2019146405 A1 WO 2019146405A1 JP 2019000335 W JP2019000335 W JP 2019000335W WO 2019146405 A1 WO2019146405 A1 WO 2019146405A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
product
information
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/000335
Other languages
French (fr)
Japanese (ja)
Inventor
寛子 川添
平尾　直靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to JP2019567964A priority Critical patent/JP7278972B2/en
Publication of WO2019146405A1 publication Critical patent/WO2019146405A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Definitions

  • the present invention relates to an information processing apparatus, an information processing system, and a program.
  • Japanese Patent Laid-Open No. 2003-308415 discloses a technique for easily acquiring many questionnaire results using a system including a user terminal and a server.
  • the evaluation of goods have objectivity.
  • the consumer's subjectivity is reflected in the questionnaire result of Japanese Patent Application Laid-Open No. 2003-308415. Therefore, the evaluation obtained from the questionnaire results has no objectivity to the product.
  • An object of the present invention is to obtain an indicator of an objective evaluation of a product.
  • One aspect of the present invention is A means for acquiring facial expression information related to the user's facial expression; Having means for specifying product information on the product; And a means for analyzing a change in the expression based on the expression information when the product information is specified. Means for calculating a response score, which is an index of the user's response to the product, based on the result of the analysis; It is an information processing apparatus.
  • FIG. 1 is a schematic view of an information processing system according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the information processing system of the first embodiment.
  • the information processing system 1 includes a client device 10 and a server 30.
  • the client device 10 and the server 30 are connected via a network (for example, the Internet or an intranet) NW.
  • NW a network
  • the client device 10 is an example of an information processing device that transmits a request to the server 30.
  • the client device 10 is, for example, a smartphone, a tablet terminal, or a personal computer.
  • the server 30 is an example of an information processing apparatus that provides the client apparatus 10 with a response to the request sent from the client apparatus 10.
  • the server 30 is, for example, a web server.
  • the client device 10 includes a storage device 11, a processor 12, an input / output interface 13, a communication interface 14, a display 15, a camera 16, and an audio input / output device 17.
  • the storage device 11 is configured to store programs and data.
  • the storage device 11 is, for example, a combination of a read only memory (ROM), a random access memory (RAM), and a storage (for example, a flash memory or a hard disk).
  • ROM read only memory
  • RAM random access memory
  • storage for example, a flash memory or a hard disk
  • the programs include, for example, the following programs.
  • OS Operating System
  • application for example, web browser
  • the data includes, for example, the following data.
  • ⁇ A database referenced in information processing
  • ⁇ Data obtained by executing information processing (that is, execution results of information processing)
  • the processor 12 is configured to realize the function of the client device 10 by activating a program stored in the storage device 11.
  • the processor 12 is an example of a computer.
  • the input / output interface 13 is configured to obtain a user's instruction from an input device connected to the client device 10 and to output information to an output device connected to the client device 10.
  • the input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
  • Communication interface 14 is configured to control communication between client device 10 and server 30.
  • the display 15 is configured to display an image.
  • the display 15 is, for example, any of the following. Liquid crystal display Organic EL (Electro Luminescence) display
  • the camera 16 is configured to capture an image and to generate image data of the captured image.
  • the camera 16 has, for example, a complementary metal oxide semiconductor (CMOS) image sensor.
  • CMOS complementary metal oxide semiconductor
  • the voice input / output device 17 is configured to perform voice input / output.
  • the voice input / output device 17 is a combination of a microphone for inputting voice and a speaker for outputting voice.
  • the server 30 includes a storage device 31, a processor 32, an input / output interface 33, and a communication interface 34.
  • the storage device 31 is configured to store programs and data.
  • the storage device 31 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
  • the programs include, for example, the following programs. -Program of OS-Program of application that executes information processing
  • the data includes, for example, the following data. ⁇ Database referenced in information processing ⁇ Execution result of information processing
  • the processor 32 is configured to realize the function of the server 30 by activating a program stored in the storage device 31.
  • the processor 32 is an example of a computer.
  • the input / output interface 33 is configured to obtain a user's instruction from an input device connected to the server 30, and to output information to an output device connected to the server 30.
  • the input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
  • the output device is, for example, a display.
  • Communication interface 34 is configured to control communication between server 30 and client device 10.
  • FIG. 3 is an explanatory view of the outline of the first embodiment.
  • the client device 10 acquires expression information (for example, a moving image or an expression muscle electromyogram) regarding the user's expression.
  • expression information for example, a moving image or an expression muscle electromyogram
  • the client device 10 specifies product information on a product to be evaluated. When the client device 10 succeeds in specifying the product information, it analyzes the expression information to calculate an expression change index, which is an index related to a change in the user's expression. The client device 10 calculates a response score, which is an index related to the user's response to the product, based on the expression change index obtained by analysis.
  • the client device 10 calculates the user's response score for the product based on the change in the user's expression. This makes it possible to obtain an indicator of an objective evaluation of a product.
  • FIG. 4 is a diagram showing the data structure of the user information database of the first embodiment.
  • the user information database includes a "user ID” field, a "user name” field, and a "user attribute” field. Each field is associated with each other.
  • the “user ID” field stores a user ID for identifying the user.
  • the “user name” field stores information (for example, text) on the name of the user.
  • the “user attribute” field stores user attribute information on the user attribute.
  • the "user attribute” field includes a “sex” field and an “age” field.
  • the "sex" field stores information on the gender of the user.
  • the "age” field stores information on the user's age.
  • FIG. 5 is a diagram showing the data structure of the product information database of the first embodiment.
  • the product information database in FIG. 5 stores product information on the product.
  • the product information database includes a "product ID” field, a "product name” field, a “product image” field, a “feature pattern” field, a “product attribute” field, and a “response score” field. Each field is associated with each other.
  • the “product ID” field stores a product ID for identifying a product.
  • the “product name” field stores information (for example, text) on the name of the product.
  • image information of a product for example, at least one of a product body, a package of the product, and a use state of the product.
  • the "feature pattern” field stores information on the feature pattern on the image of the product.
  • Product attribute information on an attribute of a product is stored in the “product attribute” field.
  • the "product attribute” field includes a "type” field and a “maker” field.
  • the “type” field stores information on the type of product (for example, lipstick or lotion).
  • the “maker” field stores information on the manufacturer of the product (for example, text indicating the name of the manufacturer).
  • the “response score” field stores a numerical value (hereinafter referred to as “response score”) indicating the level of the user's response to the product.
  • the “response score” field includes the “overall average” field and the “attribute average” field.
  • the “overall average” field stores the average value of the response scores of all the users.
  • the “attribute average” field stores the average value of the response score for each user attribute.
  • the “attribute average” field includes a "sex” field and an "age” field.
  • the “sex” field stores the average value of the response scores for each gender.
  • the "age” field stores the average value of the response score for each age.
  • FIG. 6 is a sequence diagram of information processing according to the first embodiment.
  • 7 to 8 show examples of screens displayed in the information processing of FIG.
  • the client device 10 executes a login request (S100). Specifically, the processor 12 displays the screen P100 (FIG. 7) on the display 15.
  • the screen P100 includes a button object B100 and a field object F100.
  • the field object F100 is an object that receives an input of a user ID.
  • the button object B100 is an object that receives a user instruction for login.
  • processor 12 When the user inputs a user ID into field object F100 and operates button object B100, processor 12 transmits login request data to server 30.
  • the login request data includes the user ID input to the field object F100.
  • the server 30 executes login authentication (S300). Specifically, when the user ID included in the login request data is included in the user information database (FIG. 4), the processor 32 transmits, to the client device 10, login response data for authenticating the login.
  • step S300 the client device 10 executes expression information acquisition (S101).
  • step S101 the processor 12 displays the screen P101 (FIG. 7) on the display 15 when the login response data is received.
  • the screen P101 includes a display object A101 and a button object B101.
  • the display object A 101 displays an image captured by the camera 16.
  • the image captured by the camera 16 includes the image IMG101a of the user's face and the image IMG101b of the product.
  • the button object B101 is an object that receives a user instruction for acquiring video data.
  • the processor 12 When the user operates the button object B 101, the processor 12 generates video data (an example of “face expression information”), and stores the video data in the storage device 11.
  • the video data includes a moving image captured by the camera 16 and an audio input by the audio input / output device 17.
  • the client device 10 is connected to the measuring device.
  • the measuring device is configured to obtain, for example, an expression muscle signal related to the movement of the expression muscle from an electrode attached to the user's face.
  • the processor 12 acquires facial expression muscle signals from the measurement device.
  • step S101 the client device 10 executes product specification (S102).
  • the processor 12 specifies a product ID of a product based on a user instruction (for example, product information for a field object included in a screen displayed on the display 15).
  • the processor 12 extracts the feature amount of the image IMG101b by applying the feature amount analysis to the image IMG101b of the product included in the video data acquired in step S101.
  • the processor 12 specifies the product ID of the product represented by the image IMG 101 b by comparing the extracted feature amount with the information in the “feature pattern” field of the product information database (FIG. 5).
  • step S102 when the user emits an audio of product information (for example, an item name), the audio input / output device 17 inputs an audio generated by the user.
  • the processor 12 analyzes the voice input by the voice input / output device 17 to identify the trade name.
  • the processor 12 specifies the product ID associated with the specified product name with reference to the product information database (FIG. 5).
  • step S102 the client device 10 executes expression analysis (S103) on the expression information obtained in step S101.
  • the processor 12 applies the theory of facial action coding system (hereinafter referred to as "FACS" (Facial Action Coding System)) theory to the image IMG101a of the face included in the video data acquired in step S101.
  • FACS facial Action Coding System
  • action unit information on the level of change in motion is generated for each part of the face.
  • the action unit information is an example of a facial expression change index indicating a change in the user's facial expression on the product.
  • step S103 the processor 12 generates an expression muscle electromyogram (an example of an “expression change index”) from the expression muscle signal acquired in step S101.
  • an expression muscle electromyogram an example of an “expression change index”
  • step S103 the client device 10 executes emotion estimation (S104) based on the facial expression change index obtained in step S103.
  • the processor 12 relates to the user's emotion for each image frame forming the video data by applying the action unit information of each part to the emotion estimation formula for estimating the emotion.
  • Emotion information includes, for example, the following information.
  • Information on the type of emotion for example, joy, sadness, anger, surprise, fear, or annoyance
  • Information on emotion intensity for example, joy, sadness, anger, surprise, fear, or annoyance
  • the storage device 11 stores reference information indicating the relationship between the expression muscle electromyogram and the user's emotion.
  • the processor 12 estimates emotion information on the user's emotion by comparing the expression muscle electromyogram with the reference information stored in the storage device 11.
  • step S104 the processor 12 applies the predetermined algorithm to the emotion information estimated from the action unit information and the emotion information estimated from the expression muscle electromyogram to obtain action unit information and an expression Emotional information is estimated based on both electromyography.
  • the client device 10 executes the calculation of the reaction score (S105) based on the facial expression change index obtained in step S104.
  • the processor 12 refers to the product information database (FIG. 5), and identifies information on the product name associated with the product ID identified in step S102.
  • the processor 12 calculates a response score by applying the emotion information (that is, the emotion information obtained from the change in the user's expression) estimated in step S104 to the equation for calculating the response score.
  • the processor 12 displays on the display 15 a screen P102 (FIG. 8) based on the emotion information estimated in step S104 and the reaction score calculated in step S105.
  • the screen P102 includes display objects A101, A102a, and A102b, and a button object B102.
  • the display object A101 is similar to the screen P101 (FIG. 7).
  • a graph image IMG102 is displayed on the display object A102a.
  • the graph image IMG102 indicates the transition of emotion information (EMOTION LEVEL) for each image frame (F) that composes the video data (that is, the user for the product) for each type of emotion (for example, joy (HAPPY) and sadness (SAD)). Change of emotions).
  • the display object A 102 b displays the product information specified in step S 102 and the response score calculated in step S 105.
  • the button object B102 is an object that receives a user instruction to execute an update request (S106).
  • step S105 the client device 10 executes the update request (S106). Specifically, when the user operates the button object B 102, the processor 12 sends update request data to the server 30.
  • the update request data contains the following information. -The product ID identified in step S102 The response score calculated in step S105
  • the server 30 executes database update (S301).
  • the processor 32 refers to the user information database (FIG. 4) to identify the user attribute information associated with the user ID included in the login request data.
  • the processor 32 refers to the product information database (FIG. 5) to specify a record (hereinafter referred to as an “update target record”) associated with the product ID included in the update request data.
  • the processor 32 updates the value of the “response score” field of the update target record as follows. In the "overall average” field, the average value is updated based on the response score included in the update request data. In the “attribute average” field, the average value is updated based on the response score included in the update request data and the specified user attribute information.
  • the reaction score is calculated based on the change in the user's expression. This makes it possible to obtain an indicator of the objective evaluation of the user for the product.
  • the second embodiment is an example in which a user's response score to a product is acquired based on a change in the user's expression in conversation.
  • FIG. 9 is an explanatory diagram of an outline of the second embodiment.
  • the client device 10-1 transmits a moving image including the face of the user A to the server 30.
  • the client device 10-2 transmits a moving image including the face of the user B to the server 30.
  • the user A of the client device 10-1 and the user B of the client device 10-2 make a video call via the server 30.
  • the server 30 specifies item information on the item to be evaluated. If the server 30 succeeds in specifying the product information, the server 30 analyzes the image of the face of the user A included in the moving image. The server 30 calculates, based on the analysis result, a response score which is an index related to the response of the user A to the product.
  • the server 30 calculates the reaction score of the user A for the product based on the result of the analysis of the image of the face of the user A during the conversation between the user A who owns the product and the user B.
  • FIG. 10 is a sequence diagram of information processing of the second embodiment. 11 to 12 show examples of screens displayed in the information processing of FIG.
  • the client devices 10-1 and 10-2 execute the login request (S100) as in the first embodiment (FIG. 6).
  • the server 30 executes login authentication (S300) as in the first embodiment.
  • the client devices 10-1 and 10-2 start the video call sequence (S310) via the server 30.
  • the processor 12 of the client device 10-1 transmits a moving image including the face of the user A to the server 30.
  • the processor 32 transmits this moving image to the client device 10-2.
  • the processor 12 of the client device 10-2 transmits a moving image including the face of the user B to the server 30.
  • the processor 32 transmits this moving image to the client device 10-1.
  • the processor 12 of the client device 10-1 displays a screen P110-1 (FIG. 11A) on the display 15.
  • the screen P110-1 includes display objects A110-1a to A110-1b.
  • the display object A 110-1a displays an image captured by the camera 16 of the client device 10-1.
  • the image captured by the camera 16 includes the image IMG110-1a of the face of the user A and the image IMG110-1b of the product.
  • a moving image transmitted from the client device 10-2 is displayed on the display object A 110-1b. This moving image includes the image IMG110-1c of the face of the user B of the client device 10-2.
  • the processor 12 of the client device 10-2 displays the screen P110-2 (FIG. 11B) on the display 15.
  • the screen P110-2 includes display objects A110-2a to A110-2b.
  • the display object A110-2a displays an image captured by the camera 16 of the client device 10-2.
  • the image captured by the camera 16 includes the image IMG110-2a of the face of the user B.
  • the display object A110-2b displays a moving image transmitted from the client device 10-1.
  • the moving image includes an image IMG110-2b of the face of the user A of the client device 10-1 and an image IMG110-2c of a product.
  • step S310 the server 30 executes product specification (S311).
  • step S311 the processor 12 transmits, to the server 30, a user instruction (for example, product information for a field object included in the screen displayed on the display 15).
  • the processor 32 specifies the product ID of the product based on the user instruction transmitted by the processor 12.
  • the processor 32 extracts feature amounts of the image IMG110-1b by applying feature amount analysis to the image IMG110-1b of the item included in the video data acquired in step S310. Do.
  • the processor 32 specifies the product ID of the product represented by the image IMG 110-1b by comparing the extracted feature amount with the information of the “feature pattern” field of the product information database (FIG. 5).
  • step S311 when the user utters a voice of product information (for example, a product name), the voice input / output device 17 inputs a voice uttered by the user.
  • the processor 12 transmits the voice input by the voice input / output device 17 to the server 30.
  • the processor 32 identifies the trade name by analyzing the voice transmitted by the processor 12.
  • the processor 32 specifies the product ID associated with the specified product name with reference to the product information database (FIG. 5).
  • the server 30 executes face image analysis (S312). Specifically, the processor 32 executes image analysis based on FACS theory on the face image IMG110-1a included in the video data acquired in step S310, thereby, for each part of the face of the user A, Generate action unit information on the level of change of movement.
  • the server 30 executes emotion estimation (S313). Specifically, the processor 32 estimates the emotion information on the emotion of the user A for each image frame constituting the video data by applying the action unit information of each part of the user A to the emotion estimation formula.
  • the server 30 executes calculation of the response score (S314).
  • the processor 32 refers to the product information database (FIG. 5) to specify information on the product name associated with the product ID specified in step S311.
  • the processor 32 applies the user A's emotion information estimated in step S313 (that is, emotion information corresponding to all the image frames constituting the video data) to the reaction score calculation formula, thereby the user A's reaction score Calculate
  • the processor 32 transmits information on the calculated response score to the client devices 10-1 and 10-2.
  • step S314 the client devices 10-1 and 10-2 execute presentation of response scores (S110). Specifically, processor 12 causes display 15 to display screen P112 (FIG. 12) based on the response score transmitted from server 30 in step S314.
  • the screen P112 includes display objects A112a to 112b and a button object B112 in addition to objects (display objects A110-1a and A110-1b) similar to the screen P110-1 (FIG. 11).
  • a graph image IMG112a is displayed on the display object A112a.
  • the graph image IMG 112 a indicates the transition (that is, the transition of emotion information (EMOTION LEVEL) for each image frame (F) constituting video data for each type of emotion of the user A (for example, joy (HAPPY) and sadness (SAD)). It shows the time series change of the emotion of the user A for the product.
  • the display object A 112 b displays the response score of the user A.
  • the button object B 112 is an object that receives a user instruction to end shooting a moving image.
  • the client device 10-1 executes the update request (S112). Specifically, when the user A operates the button object B 112, the processor 12 sends update request data to the server 30.
  • the server 30 executes database update (S315).
  • the processor 32 refers to the user information database (FIG. 4) to identify the user attribute information associated with the user ID included in the login request data.
  • the processor 32 refers to the product information database (FIG. 5), and identifies a record (hereinafter referred to as "update target record") associated with the product ID identified in step S311.
  • the processor 32 updates the value of the “response score” field of the update target record as follows. In the "overall average” field, the average value is updated based on the response score calculated in step S314. In the “attribute average” field, the average value is updated based on the response score calculated in step S314 and the specified user attribute information.
  • the reaction score is calculated based on the change in the expression of the user A who talks about the product with the user B. This makes it possible to improve the accuracy of the objective evaluation index of the user A for the product.
  • FIG. 13 is a view showing an example of a screen displayed in the information processing of the modification 1 of the second embodiment.
  • the processor 32 of the modification 1 of the second embodiment calculates the reaction score of the user A and the reaction score of the user B in step S312.
  • the processor 12 of the modification 1 of the second embodiment displays the screen P114 (FIG. 13) on the display 15 in step S110.
  • the screen P114 includes display objects A114a to A114b in addition to the same objects as the screen P112 (FIG. 12).
  • a graph image IMG114a is displayed on the display object A114a.
  • the graph image IMG114a indicates transition of emotion information (EMOTION LEVEL) for each image frame (F) constituting video data for each type of emotion of the user B (for example, joy (HAPPY) and sadness (SAD)). It shows the time series change of the emotion of the user A for the product.
  • the display object A 114 b displays the response score of the user B.
  • the processor 32 of the modification 2 of the second embodiment identifies the user corresponding to any of the following (that is, the user having a relatively high interest in the product) as the first user in step S312, and the first user Identify the other users as the second user.
  • the emotion estimation equation stored in the storage device 31 includes a first weighting factor for the first user and a second weighting factor for the second user.
  • the first weighting factor is greater than the second weighting factor. That is, in this emotion estimation formula, the reaction score is calculated by placing more importance on the first user's expression than on the second user.
  • the processor 32 generates the first action unit information of the first user and the second action unit information of the second user in step S312.
  • step S313 the processor 32 estimates emotion information for each image frame constituting video data by applying the first action unit information and the second action unit information to the emotion estimation equation.
  • the first action unit information is applied to the first weighting factor.
  • the second action unit information is applied to the second weighting factor.
  • the reaction score is calculated based on changes in facial expressions of a plurality of users
  • the expression of the user A who owns the product is emphasized.
  • the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • the third embodiment is an example in which a user's response score to a product is acquired based on a change in the user's expression during a conversation with a virtual person (hereinafter referred to as "avatar").
  • avatar a virtual person
  • FIG. 14 is an explanatory diagram of an outline of the third embodiment.
  • the user of the client device 10 captures a moving image of a product using the client device 10 and performs a conversation with an avatar.
  • the client device 10 specifies product information on a product to be evaluated. If the client device 10 succeeds in identifying the product information, the client device analyzes the image of the user's face included in the moving image. The client device 10 calculates a response score, which is an index related to the user's response to the product, based on the analysis result.
  • the client apparatus 10 determines the user's response score for the product corresponding to the product information based on the result of analysis of the image of the face of the user talking with the avatar. calculate. This makes it possible to obtain an indicator of an objective evaluation of a product.
  • FIG. 15 is a sequence diagram of information processing of the third embodiment.
  • FIG. 16 is a view showing an example of a screen displayed in the information processing of FIG.
  • the client device 10 executes a login request (S100) as in the first embodiment (FIG. 6).
  • the server 30 executes login authentication (S300) as in the first embodiment.
  • step S300 the client device 10 executes avatar presentation (S120). Specifically, the processor 12 displays the screen P120 on the display 15 (FIG. 16).
  • the screen P120 includes a display object A120 in addition to the object similar to the screen P101 (FIG. 7).
  • an avatar image IMG120 is displayed in the display object A120.
  • the avatar presents a question to the user (e.g., at least one of the text and voice of the question "What product?").
  • the client device 10 executes acquisition of video data (S121). Specifically, processor 12 generates video data when the user operates button object B 101 and inputs an answer (for example, at least one of text and sound related to an answer) to an avatar question. And stores the information on the video data and the answer in the storage unit 11.
  • the video data includes a moving image captured by the camera 16 and an audio input by the audio input / output device 17.
  • step S121 the client device 10 executes steps S102 to S106 as in the first embodiment (FIG. 6).
  • step S106 the server 30 executes step S301 as in the first embodiment.
  • the response score is calculated based on the change in the expression of the user who talks about the product with the avatar even if there is no other user. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • Modified Example 1 A first modification will be described. Modification 1 is an example of calculating a reaction score in consideration of changes in expression and speech.
  • the processor 12 extracts the feature amount of the audio included in the video data in step S104.
  • the processor 12 estimates the emotion information on the user's emotion for each image frame forming the video data by applying the action unit information and the voice feature amount to the emotion estimation equation.
  • the accuracy of the reaction score can be improved as compared with the case of using only the face image analysis.
  • Modification 1 is also applicable to the second embodiment and the third embodiment.
  • Modification 2 is an example of calculating a response score in consideration of a change in expression and biological information.
  • the user wears a measuring device capable of measuring biological information.
  • the biometric information includes, for example, at least one of the following. -Heart rate-EEG-Body temperature-Stress hormone value
  • the processor 12 acquires biological information from the measuring device in step S104.
  • the processor 12 estimates the emotion information on the user's emotion for each image frame constituting the video data by applying the action unit information and the biological information to the emotion estimation formula.
  • the reaction score is calculated in consideration of the change in the expression and the biological information, the accuracy of the reaction score can be improved as compared with the case of using only the face image analysis.
  • Modification 2 is also applicable to the second embodiment and the third embodiment.
  • the third modification is an example of calculating the response score in consideration of the change in the expression and the inclination of the face.
  • step S103 the processor 12 generates tilt information on the amount of change in tilt of the face in addition to the action unit information.
  • the processor 12 estimates the emotion information on the user's emotion for each image frame constituting the video data by applying the action unit information and the inclination information to the emotion estimation equation.
  • the accuracy of the reaction score can be improved as compared with the case of using only the face image analysis.
  • the modification 3 is also applicable to the second embodiment and the third embodiment.
  • the fourth modification is an example of calculating a response score based on a still image including an image of a user's face.
  • the processor 12 of the fourth modification extracts an image frame satisfying a predetermined condition from the image frame constituting the video data in step S103.
  • the image frame that satisfies the predetermined condition is, for example, any of the following.
  • Image frame when button object B 102 is operated Image frame having the largest change in expression among image frames forming video data
  • Image frame specified by the user among image frames forming video data For example, an image frame of an image that the user felt that "your own emotion is most apparent"
  • the processor 12 estimates the emotion information on the user's emotion by applying feature value analysis to the image frame that satisfies the predetermined condition.
  • step S101 can be omitted.
  • the client device 10 changes to step S101 to acquire a still image including an image of the user's face.
  • the reaction score is calculated based on the analysis result of the still image. As a result, it is possible to obtain an indicator of an objective evaluation of the user on a product even from a still image (that is, an expression at a certain point in time).
  • the first aspect of the present embodiment is A unit for acquiring facial expression information related to a user's facial expression (for example, the processor 12 that executes step S101); A unit (for example, the processor 12 that executes step S102) for specifying product information related to a product; When commodity information is specified, a unit (for example, the processor 12 that executes step S103) that analyzes a change in expression based on the expression information is provided. Means (e.g., the processor 12 executing step S104) for calculating a response score which is an index related to the user's response to the product based on the analysis result It is an information processing device (for example, the client device 10).
  • the response score is calculated based on the change in the user's expression. This makes it possible to obtain an indicator of the objective evaluation of the user for the product.
  • the second aspect of the present embodiment is The acquiring unit acquires at least one of a moving image including an image of the user's face and at least one of a user's expression electromyography. It is an information processing apparatus.
  • the third aspect of the present embodiment is The acquiring means further acquires a moving image including an image of a product.
  • the identifying means identifies the item information based on the image of the item included in the acquired moving image. It is an information processing apparatus.
  • the fourth aspect of the present embodiment is A unit (e.g., a voice input / output device 17) for obtaining voice including product information issued by at least one user;
  • the identifying unit identifies the product information based on the acquired voice. It is an information processing apparatus.
  • the fifth aspect of the present embodiment is The analyzing means further analyzes the speech, It is an information processing apparatus.
  • the reaction score is calculated in consideration of the analysis result of the user's voice. This can improve the accuracy of the response score.
  • the sixth aspect of the present embodiment is A means for acquiring biological information on the user's living body;
  • the calculating means calculates a response score based on the analysis result and the acquired biological information. It is an information processing apparatus.
  • the reaction score is calculated in consideration of the biometric information of the user. This can improve the accuracy of the response score.
  • the seventh aspect of the present embodiment is Means for determining the inclination of the face of the user who is viewing the product based on the analysis result;
  • the means for calculating refers to the slope to calculate the response score, It is an information processing apparatus.
  • the response score is calculated in consideration of the inclination of the user's face. This can improve the accuracy of the response score.
  • the eighth aspect of the present embodiment is Providing a user with at least one of an avatar image of the virtual user, a text message including a question for the user, and an audio message including a question for the user (eg, the processor 12 executing step S120);
  • the analysis means analyzes the face included in the moving image at the time of presentation, It is an information processing apparatus.
  • the response score is calculated based on the change in the expression of the user who talks about the product with the avatar, even if there is no other user. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • the ninth aspect of the present embodiment is A unit for acquiring a first moving image including a first image of a face of a first user who uses the product and a second moving image including a second image of a second user's face interacting with the first user (for example, , Processor 32) for performing step S310, A unit (for example, a processor 32 that executes step S311) for specifying product information related to a product; And a unit that analyzes the first image when the product information is specified (for example, the processor 32 that executes step S312). Means (e.g., the processor 32 executing step S314) for calculating a response score which is an index relating to the response of the first user to the product based on the analysis result It is an information processing apparatus (for example, server 30).
  • the reaction score is calculated based on the change in the expression of the user A who talks about the product with the user B. This makes it possible to improve the accuracy of the objective evaluation index of the user A for the product.
  • the tenth aspect of the present embodiment is The analyzing means analyzes the first image and the second image of the second user's face, It is an information processing apparatus.
  • the reaction score is calculated based on changes in the expressions of the plurality of users. Therefore, the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • the eleventh aspect of the present embodiment is
  • the first moving image includes an image of a product
  • the identifying unit identifies the item information based on the image of the item included in the acquired first moving image. It is an information processing apparatus.
  • the twelfth aspect of the present embodiment is The acquiring unit acquires a first voice including product information uttered by the first user and a second voice of the second user.
  • the identifying unit identifies the product information based on the acquired first voice. It is an information processing apparatus.
  • the thirteenth aspect of the present embodiment is The analyzing means further analyzes the first voice and the second voice, It is an information processing apparatus.
  • the reaction score is calculated based on the expressions and voices of the plurality of users. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • the fourteenth aspect of the present embodiment is Means for acquiring first biometric information on a first user's living body and second biometric information on a second user;
  • the calculating means calculates a response score based on the analysis result and the acquired first and second biological information. It is an information processing apparatus.
  • the response score is calculated based on the facial expressions and the biological information of the plurality of users. Therefore, the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • the fifteenth aspect of the present embodiment is Means for determining the inclination of the face of the first user who is viewing the product and the inclination of the face of the second user based on the analysis result;
  • the means for calculating refers to the slope to calculate the response score, It is an information processing apparatus.
  • the response score is calculated based on the expressions of the plurality of users and the inclination of the face. Therefore, the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • the sixteenth aspect of the present embodiment is The calculating means calculates a reaction score by applying the first weighting factor to the analysis result of the first user's face image and applying the second weighting factor to the second user's face analysis result. , The first weighting factor is greater than the second weighting factor It is an information processing apparatus.
  • the reaction score is calculated based on changes in facial expressions of a plurality of users
  • the expression of the user who owns the product is emphasized.
  • the accuracy of the indicator of the user's objective evaluation of the product can be improved.
  • the seventeenth aspect of the present embodiment is A first client device 10-1 used by a first user who owns a product, a second client device 10-2 used by a second user interacting with the first user, and a first client device 10-1 and a second An information processing system 1 comprising: a server 30 that executes a video call sequence (S310) with the client device 10-2;
  • the first client device 10-1 includes means (e.g., the processor 12 that executes step S310) for acquiring a first moving image including a first image of the first user's face
  • the second client device 10-2 includes means for acquiring a second moving image including a second image of the second user's face (for example, the processor 12 executing step S310).
  • the server 30 is A unit for acquiring the first moving image and the second moving image (for example, the processor 12 that executes step S310); A unit (for example, the processor 12 that executes step S311) for specifying product information related to a product; A unit that analyzes the image of the face included in the first moving image when the product information is specified (for example, the processor 12 that executes step S312); The information processing system 1 is provided with a unit (for example, the processor 12 that executes step S314) that calculates a reaction score that is an index related to the reaction of the first user to the product based on the analysis result.
  • the eighteenth aspect of the present embodiment is A means for acquiring a still image including an image of the user's face; Having means for specifying product information on the product; Means for analyzing the still image when product information is specified; Means for calculating a response score, which is an indicator of the user's response to the product, based on the analysis result; It is an information processing apparatus.
  • a response score is calculated based on the user's expression at a certain point in time. Therefore, even from the still image, it is possible to obtain an index of the objective evaluation of the user for the product.
  • the nineteenth aspect of the present embodiment is It is a program for functioning a computer (for example, processor 12) as each above-mentioned means.
  • the storage device 11 may be connected to the client device 10 via the network NW.
  • the storage device 31 may be connected to the server 30 via the network NW.
  • Each step of the above information processing can be executed by either the client device 10 or the server 30.
  • step S106 (FIG. 6) is also omitted.
  • the client device 10 transmits update request data to the server 30 without receiving a user instruction.
  • steps S110 and S112 (FIG. 10) are also omitted.
  • the server 30 executes the step S315 without communicating with the client device 10. This makes it possible to prevent the influence on the measurement (for example, the loss of the objectivity of the emotion information and the response score) by showing the emotion information and the response score during the measurement.
  • Information processing system 10 Client device 11: Storage device 12: Processor 13: Input / output interface 14: Communication interface 15: Display 16: Camera 17: Voice input / output device 30: Server 31: Storage device 32: Processor 33: On Output interface 34: Communication interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An information processing device comprising: a means for acquiring expression information related to an expression of a user; a means for specifying product information related to a product; a means for analyzing a change in the expression on the basis of the expression information when product information has been specified; and a means for calculating a reaction score, which is an index related to the user's reaction to the product, on the basis of the analysis result.

Description

表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラムINFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, AND PROGRAM FOR EVALUATING MONITOR'S REACTIONS TO GOODS USING EXPRESSION ANALYSIS

　本発明は、情報処理装置、情報処理システム、及び、プログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, and a program.

　一般に、商品に関する市場調査では、消費者に対するアンケートを用いて商品に対する評価を集計している。多数の消費者からの回答を得ることにより、商品に対する評価の精度の向上が期待できる。 In general, market surveys on products use questionnaires for consumers to count evaluations on products. By obtaining answers from a large number of consumers, it is possible to expect an improvement in the accuracy of evaluation of products.

　特開２００３－３０８４１５号公報は、ユーザ端末及びサーバを備えるシステムを用いて、多くのアンケート結果を容易に取得する技術を開示している。 Japanese Patent Laid-Open No. 2003-308415 discloses a technique for easily acquiring many questionnaire results using a system including a user terminal and a server.

　一般に、商品に対する評価は、客観性を有することが好ましい。
　しかし、特開２００３－３０８４１５号公報のアンケート結果には、消費者の主観が反映される。そのため、アンケート結果から得られる評価は、商品に対する客観性を有していない。 In general, it is preferable that the evaluation of goods have objectivity.
However, the consumer's subjectivity is reflected in the questionnaire result of Japanese Patent Application Laid-Open No. 2003-308415. Therefore, the evaluation obtained from the questionnaire results has no objectivity to the product.

　本発明の目的は、商品に対する客観的な評価の指標を得ることである。 An object of the present invention is to obtain an indicator of an objective evaluation of a product.

　本発明の一態様は、
　ユーザの表情に関する表情情報を取得する手段を備え、
　商品に関する商品情報を特定する手段を備え、
　前記商品情報が特定された場合、前記表情情報に基づいて前記表情の変化を解析する手段を備え、
　前記解析の結果に基づいて、前記商品に対する前記ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理装置である。 One aspect of the present invention is
A means for acquiring facial expression information related to the user's facial expression;
Having means for specifying product information on the product;
And a means for analyzing a change in the expression based on the expression information when the product information is specified.
Means for calculating a response score, which is an index of the user's response to the product, based on the result of the analysis;
It is an information processing apparatus.

　本発明によれば、商品に対するユーザの客観的な評価の指標を得ることができる。 According to the present invention, it is possible to obtain an indicator of an objective evaluation of a user on a product.

第１実施形態の情報処理システムの概略図である。It is the schematic of the information processing system of 1st Embodiment. 第１実施形態の情報処理システムの構成を示すブロック図である。It is a block diagram showing composition of an information processing system of a 1st embodiment. 第１実施形態の概要の説明図である。It is explanatory drawing of the outline | summary of 1st Embodiment. 第１実施形態のユーザ情報データベースのデータ構造を示す図である。It is a figure which shows the data structure of the user information database of 1st Embodiment. 第１実施形態の商品情報データベースのデータ構造を示す図である。It is a figure which shows the data structure of the goods information database of 1st Embodiment. 第１実施形態の情報処理のシーケンス図である。It is a sequence diagram of information processing of a 1st embodiment. 図６の情報処理において表示される画面例を示す図である。It is a figure which shows the example of a screen displayed in the information processing of FIG. 図６の情報処理において表示される画面例を示す図である。It is a figure which shows the example of a screen displayed in the information processing of FIG. 第２実施形態の概要の説明図である。It is explanatory drawing of the outline | summary of 2nd Embodiment. 第２実施形態の情報処理のシーケンス図である。It is a sequence diagram of information processing of a 2nd embodiment. 図１０の情報処理において表示される画面例を示す図である。It is a figure which shows the example of a screen displayed in the information processing of FIG. 図１０の情報処理において表示される画面例を示す図である。It is a figure which shows the example of a screen displayed in the information processing of FIG. 第２実施形態の変形例１の情報処理において表示される画面例を示す図である。It is a figure which shows the example of a screen displayed in the information processing of the modification 1 of 2nd Embodiment. 第３実施形態の概要の説明図である。It is explanatory drawing of the outline | summary of 3rd Embodiment. 第３実施形態の情報処理のシーケンス図である。It is a sequence diagram of information processing of a 3rd embodiment. 図１５の情報処理において表示される画面例を示す図である。It is a figure which shows the example of a screen displayed in the information processing of FIG.

　以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, an embodiment of the present invention will be described in detail based on the drawings. Note that, in the drawings for describing the embodiments, the same components are denoted by the same reference symbols in principle, and the repetitive description thereof will be omitted.

（１）第１実施形態
　第１実施形態について説明する。 (1) First Embodiment The first embodiment will be described.

（１－１）情報処理システムの構成
　第１実施形態の情報処理システムの構成について説明する。図１は、第１実施形態の情報処理システムの概略図である。図２は、第１実施形態の情報処理システムの構成を示すブロック図である。 (1-1) Configuration of Information Processing System The configuration of the information processing system according to the first embodiment will be described. FIG. 1 is a schematic view of an information processing system according to the first embodiment. FIG. 2 is a block diagram showing the configuration of the information processing system of the first embodiment.

　図１及び図２に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
　クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。 As shown in FIGS. 1 and 2, the information processing system 1 includes a client device 10 and a server 30.
The client device 10 and the server 30 are connected via a network (for example, the Internet or an intranet) NW.

　クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。 The client device 10 is an example of an information processing device that transmits a request to the server 30. The client device 10 is, for example, a smartphone, a tablet terminal, or a personal computer.

　サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。 The server 30 is an example of an information processing apparatus that provides the client apparatus 10 with a response to the request sent from the client apparatus 10. The server 30 is, for example, a web server.

（１－１－１）クライアント装置の構成
　クライアント装置１０の構成について説明する。 (1-1-1) Configuration of Client Device The configuration of the client device 10 will be described.

　図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４と、ディスプレイ１５と、カメラ１６と、音声入出力装置１７と、を備える。 As shown in FIG. 2, the client device 10 includes a storage device 11, a processor 12, an input / output interface 13, a communication interface 14, a display 15, a camera 16, and an audio input / output device 17.

　記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 11 is configured to store programs and data. The storage device 11 is, for example, a combination of a read only memory (ROM), a random access memory (RAM), and a storage (for example, a flash memory or a hard disk).

　プログラムは、例えば、以下のプログラムを含む。
　・ＯＳ（Operating System）のプログラム
　・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム The programs include, for example, the following programs.
-Program of OS (Operating System)-Program of application (for example, web browser) that executes information processing

　データは、例えば、以下のデータを含む。
　・情報処理において参照されるデータベース
　・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果） The data includes, for example, the following data.
· A database referenced in information processing · Data obtained by executing information processing (that is, execution results of information processing)

　プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。 The processor 12 is configured to realize the function of the client device 10 by activating a program stored in the storage device 11. The processor 12 is an example of a computer.

　入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報を出力するように構成される。
　入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。 The input / output interface 13 is configured to obtain a user's instruction from an input device connected to the client device 10 and to output information to an output device connected to the client device 10.
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.

　通信インタフェース１４は、クライアント装置１０とサーバ３０との間の通信を制御するように構成される。 Communication interface 14 is configured to control communication between client device 10 and server 30.

　ディスプレイ１５は、画像を表示するように構成される。ディスプレイ１５は、例えば、以下の何れかである。
　・液晶ディスプレイ
　・有機ＥＬ（Electro Luminescence）ディスプレイ The display 15 is configured to display an image. The display 15 is, for example, any of the following.
Liquid crystal display Organic EL (Electro Luminescence) display

　カメラ１６は、画像を撮像し、且つ、撮像した画像の画像データを生成するように構成される。カメラ１６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有する。 The camera 16 is configured to capture an image and to generate image data of the captured image. The camera 16 has, for example, a complementary metal oxide semiconductor (CMOS) image sensor.

　音声入出力装置１７は、音声の入出力を行うように構成される。音声入出力装置１７は、音声を入力するマイク、及び、音声を出力するスピーカの組合せである。 The voice input / output device 17 is configured to perform voice input / output. The voice input / output device 17 is a combination of a microphone for inputting voice and a speaker for outputting voice.

（１－１－２）サーバの構成
　サーバ３０の構成について説明する。 (1-1-2) Configuration of Server The configuration of the server 30 will be described.

　図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。 As shown in FIG. 2, the server 30 includes a storage device 31, a processor 32, an input / output interface 33, and a communication interface 34.

　記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 31 is configured to store programs and data. The storage device 31 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).

　プログラムは、例えば、以下のプログラムを含む。
　・ＯＳのプログラム
　・情報処理を実行するアプリケーションのプログラム The programs include, for example, the following programs.
-Program of OS-Program of application that executes information processing

　データは、例えば、以下のデータを含む。
　・情報処理において参照されるデータベース
　・情報処理の実行結果 The data includes, for example, the following data.
・ Database referenced in information processing ・ Execution result of information processing

　プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。 The processor 32 is configured to realize the function of the server 30 by activating a program stored in the storage device 31. The processor 32 is an example of a computer.

　入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
　入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
　出力デバイスは、例えば、ディスプレイである。 The input / output interface 33 is configured to obtain a user's instruction from an input device connected to the server 30, and to output information to an output device connected to the server 30.
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
The output device is, for example, a display.

　通信インタフェース３４は、サーバ３０とクライアント装置１０との間の通信を制御するように構成される。 Communication interface 34 is configured to control communication between server 30 and client device 10.

（１－２）第１実施形態の概要
　第１実施形態の概要について説明する。図３は、第１実施形態の概要の説明図である。 (1-2) Outline of First Embodiment The outline of the first embodiment will be described. FIG. 3 is an explanatory view of the outline of the first embodiment.

　図３に示すように、クライアント装置１０は、ユーザの表情に関する表情情報（例えば、動画像又は表情筋筋電図）を取得する。 As shown in FIG. 3, the client device 10 acquires expression information (for example, a moving image or an expression muscle electromyogram) regarding the user's expression.

　クライアント装置１０は、評価の対象となる商品に関する商品情報を特定する。
　クライアント装置１０は、商品情報の特定に成功した場合、表情情報を解析することにより、ユーザの表情の変化に関する指標である表情変化指標を計算する。
　クライアント装置１０は、解析によって得られた表情変化指標に基づいて、商品に対するユーザの反応に関する指標である反応スコアを計算する。 The client device 10 specifies product information on a product to be evaluated.
When the client device 10 succeeds in specifying the product information, it analyzes the expression information to calculate an expression change index, which is an index related to a change in the user's expression.
The client device 10 calculates a response score, which is an index related to the user's response to the product, based on the expression change index obtained by analysis.

　このように、クライアント装置１０は、商品情報を特定することができた場合、ユーザの表情の変化に基づいて、商品に対するユーザの反応スコアを計算する。
　これにより、商品に対する客観的な評価の指標を得ることができる。 As described above, when the product information can be specified, the client device 10 calculates the user's response score for the product based on the change in the user's expression.
This makes it possible to obtain an indicator of an objective evaluation of a product.

（１－３）データベース
　第１実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。 (1-3) Database The database of the first embodiment will be described. The following databases are stored in the storage device 31.

（１－３－１）ユーザ情報データベース
　第１実施形態のユーザ情報データベースについて説明する。図４は、第１実施形態のユーザ情報データベースのデータ構造を示す図である。 (1-3-1) User Information Database The user information database of the first embodiment will be described. FIG. 4 is a diagram showing the data structure of the user information database of the first embodiment.

　図４のユーザ情報データベースには、ユーザに関するユーザ情報が格納される。
　ユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。 User information on the user is stored in the user information database of FIG.
The user information database includes a "user ID" field, a "user name" field, and a "user attribute" field. Each field is associated with each other.

　「ユーザＩＤ」フィールドには、ユーザを識別するユーザＩＤが格納される。 The “user ID” field stores a user ID for identifying the user.

　「ユーザ名」フィールドには、ユーザの名称に関する情報（例えば、テキスト）が格納される。 The “user name” field stores information (for example, text) on the name of the user.

　「ユーザ属性」フィールドには、ユーザの属性に関するユーザ属性情報が格納される。
　「ユーザ属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、を含む。 The “user attribute” field stores user attribute information on the user attribute.
The "user attribute" field includes a "sex" field and an "age" field.

　「性別」フィールドには、ユーザの性別に関する情報が格納される。 The "sex" field stores information on the gender of the user.

　「年齢」フィールドには、ユーザの年齢に関する情報が格納される。 The "age" field stores information on the user's age.

（１－３－２）商品情報データベース
　第１実施形態の商品情報データベースについて説明する。図５は、第１実施形態の商品情報データベースのデータ構造を示す図である。 (1-3-2) Merchandise Information Database The merchandise information database of the first embodiment will be described. FIG. 5 is a diagram showing the data structure of the product information database of the first embodiment.

　図５の商品情報データベースには、商品に関する商品情報が格納される。
　商品情報データベースは、「商品ＩＤ」フィールドと、「商品名」フィールドと、「商品画像」フィールドと、「特徴パターン」フィールドと、「商品属性」フィールドと、「反応スコア」フィールドと、を含む。各フィールドは、互いに関連付けられている。 The product information database in FIG. 5 stores product information on the product.
The product information database includes a "product ID" field, a "product name" field, a "product image" field, a "feature pattern" field, a "product attribute" field, and a "response score" field. Each field is associated with each other.

　「商品ＩＤ」フィールドには、商品を識別する商品ＩＤが格納される。 The “product ID” field stores a product ID for identifying a product.

　「商品名」フィールドには、商品の名称に関する情報（例えば、テキスト）が格納される。 The “product name” field stores information (for example, text) on the name of the product.

　「商品画像」フィールドには、商品（例えば、商品本体、商品のパッケージ、及び、商品の使用状態の少なくとも１つ）の画像情報が格納される。 In the “product image” field, image information of a product (for example, at least one of a product body, a package of the product, and a use state of the product) is stored.

　「特徴パターン」フィールドには、商品の画像上の特徴のパターンに関する情報が格納される。 The "feature pattern" field stores information on the feature pattern on the image of the product.

　「商品属性」フィールドには、商品の属性に関する商品属性情報が格納される。
　「商品属性」フィールドは、「種類」フィールドと、「メーカ」フィールドと、を含む。 Product attribute information on an attribute of a product is stored in the “product attribute” field.
The "product attribute" field includes a "type" field and a "maker" field.

　「種類」フィールドには、商品の種類（例えば、口紅、又は、化粧水）に関する情報が格納される。 The “type” field stores information on the type of product (for example, lipstick or lotion).

　「メーカ」フィールドには、商品の製造者に関する情報（例えば、製造者名を示すテキスト）が格納される。 The “maker” field stores information on the manufacturer of the product (for example, text indicating the name of the manufacturer).

　「反応スコア」フィールドには、商品に対するユーザの反応のレベルを示す数値（以下「反応スコア」という）が格納される。
　「反応スコア」フィールドは、「全体平均」フィールドと、「属性平均」フィールドと、を含む。 The “response score” field stores a numerical value (hereinafter referred to as “response score”) indicating the level of the user's response to the product.
The “response score” field includes the “overall average” field and the “attribute average” field.

　「全体平均」フィールドには、全ユーザの反応スコアの平均値が格納される。 The “overall average” field stores the average value of the response scores of all the users.

　「属性平均」フィールドには、ユーザ属性毎の反応スコアの平均値が格納される。
　「属性平均」フィールドは、「性別」フィールドと、「年齢」フィールドと、を含む。 The “attribute average” field stores the average value of the response score for each user attribute.
The "attribute average" field includes a "sex" field and an "age" field.

　「性別」フィールドには、性別毎の反応スコアの平均値が格納される。 The “sex” field stores the average value of the response scores for each gender.

　「年齢」フィールドには、年齢毎の反応スコアの平均値が格納される。 The "age" field stores the average value of the response score for each age.

（１－４）情報処理
　第１実施形態の情報処理について説明する。図６は、第１実施形態の情報処理のシーケンス図である。図７～図８は、図６の情報処理において表示される画面例を示す図である。 (1-4) Information Processing Information processing of the first embodiment will be described. FIG. 6 is a sequence diagram of information processing according to the first embodiment. 7 to 8 show examples of screens displayed in the information processing of FIG.

　図６に示すように、クライアント装置１０は、ログインリクエスト（Ｓ１００）を実行する。
　具体的には、プロセッサ１２は、画面Ｐ１００（図７）をディスプレイ１５に表示する。 As shown in FIG. 6, the client device 10 executes a login request (S100).
Specifically, the processor 12 displays the screen P100 (FIG. 7) on the display 15.

　画面Ｐ１００は、ボタンオブジェクトＢ１００と、フィールドオブジェクトＦ１００と、を含む。
　フィールドオブジェクトＦ１００は、ユーザＩＤの入力を受け付けるオブジェクトである。
　ボタンオブジェクトＢ１００は、ログインのためのユーザ指示を受け付けるオブジェクトである。 The screen P100 includes a button object B100 and a field object F100.
The field object F100 is an object that receives an input of a user ID.
The button object B100 is an object that receives a user instruction for login.

　ユーザが、フィールドオブジェクトＦ１００にユーザＩＤを入力し、且つ、ボタンオブジェクトＢ１００を操作すると、プロセッサ１２は、ログインリクエストデータをサーバ３０に送信する。
　ログインリクエストデータは、フィールドオブジェクトＦ１００に入力されたユーザＩＤを含む。 When the user inputs a user ID into field object F100 and operates button object B100, processor 12 transmits login request data to server 30.
The login request data includes the user ID input to the field object F100.

　ステップＳ１００の後、サーバ３０は、ログイン認証（Ｓ３００）を実行する。
　具体的には、プロセッサ３２は、ログインリクエストデータに含まれるユーザＩＤがユーザ情報データベース（図４）に含まれる場合、ログインを認証するためのログインレスポンスデータをクライアント装置１０に送信する。 After step S100, the server 30 executes login authentication (S300).
Specifically, when the user ID included in the login request data is included in the user information database (FIG. 4), the processor 32 transmits, to the client device 10, login response data for authenticating the login.

　ステップＳ３００の後、クライアント装置１０は、表情情報の取得（Ｓ１０１）を実行する。 After step S300, the client device 10 executes expression information acquisition (S101).

　ステップＳ１０１の第１例として、プロセッサ１２は、ログインレスポンスデータを受信すると、画面Ｐ１０１（図７）をディスプレイ１５に表示する。 As a first example of step S101, the processor 12 displays the screen P101 (FIG. 7) on the display 15 when the login response data is received.

　画面Ｐ１０１は、表示オブジェクトＡ１０１と、ボタンオブジェクトＢ１０１と、を含む。
　表示オブジェクトＡ１０１には、カメラ１６が撮像した画像が表示される。カメラ１６が撮像した画像は、ユーザの顔の画像ＩＭＧ１０１ａと、商品の画像ＩＭＧ１０１ｂと、を含む。
　ボタンオブジェクトＢ１０１は、ビデオデータの取得のためのユーザ指示を受け付けるオブジェクトである。 The screen P101 includes a display object A101 and a button object B101.
The display object A 101 displays an image captured by the camera 16. The image captured by the camera 16 includes the image IMG101a of the user's face and the image IMG101b of the product.
The button object B101 is an object that receives a user instruction for acquiring video data.

　ユーザがボタンオブジェクトＢ１０１を操作すると、プロセッサ１２は、ビデオデータ（「表情情報」の一例）を生成し、且つ、当該ビデオデータを記憶装置１１に記憶する。ビデオデータは、カメラ１６によって撮像された動画像と、音声入出力装置１７によって入力された音声と、を含む。 When the user operates the button object B 101, the processor 12 generates video data (an example of “face expression information”), and stores the video data in the storage device 11. The video data includes a moving image captured by the camera 16 and an audio input by the audio input / output device 17.

　ステップＳ１０１の第２例として、クライアント装置１０は、計測装置に接続されている。計測装置は、例えば、ユーザの顔に装着される電極から表情筋の動きに関する表情筋信号を取得するように構成される。プロセッサ１２は、計測装置から表情筋信号を取得する。 As a second example of step S101, the client device 10 is connected to the measuring device. The measuring device is configured to obtain, for example, an expression muscle signal related to the movement of the expression muscle from an electrode attached to the user's face. The processor 12 acquires facial expression muscle signals from the measurement device.

　ステップＳ１０１の後、クライアント装置１０は、商品の特定（Ｓ１０２）を実行する。 After step S101, the client device 10 executes product specification (S102).

　ステップＳ１０２の第１例として、プロセッサ１２は、ユーザ指示（例えば、ディスプレイ１５に表示された画面に含まれるフィールドオブジェクトに対する商品情報）に基づいて、商品の商品ＩＤを特定する。 As a first example of step S102, the processor 12 specifies a product ID of a product based on a user instruction (for example, product information for a field object included in a screen displayed on the display 15).

　ステップＳ１０２の第２例として、プロセッサ１２は、ステップＳ１０１で取得したビデオデータに含まれる商品の画像ＩＭＧ１０１ｂに対して特徴量解析を適用することにより、画像ＩＭＧ１０１ｂの特徴量を抽出する。
　プロセッサ１２は、抽出した特徴量と、商品情報データベース（図５）の「特徴パターン」フィールドの情報と、を比較することにより、画像ＩＭＧ１０１ｂが表す商品の商品ＩＤを特定する。 As a second example of step S102, the processor 12 extracts the feature amount of the image IMG101b by applying the feature amount analysis to the image IMG101b of the product included in the video data acquired in step S101.
The processor 12 specifies the product ID of the product represented by the image IMG 101 b by comparing the extracted feature amount with the information in the “feature pattern” field of the product information database (FIG. 5).

　ステップＳ１０２の第３例として、ユーザが商品情報（例えば、商品名）の音声を発すると、音声入出力装置１７は、ユーザが発した音声を入力する。
　プロセッサ１２は、音声入出力装置１７によって入力された音声を解析することにより、商品名を特定する。
　プロセッサ１２は、商品情報データベース（図５）を参照して、特定した商品名に関連付けられた商品ＩＤを特定する。 As a third example of step S102, when the user emits an audio of product information (for example, an item name), the audio input / output device 17 inputs an audio generated by the user.
The processor 12 analyzes the voice input by the voice input / output device 17 to identify the trade name.
The processor 12 specifies the product ID associated with the specified product name with reference to the product information database (FIG. 5).

　ステップＳ１０２の後、クライアント装置１０は、ステップＳ１０１で得られた表情情報に対して、表情解析（Ｓ１０３）を実行する。 After step S102, the client device 10 executes expression analysis (S103) on the expression information obtained in step S101.

　ステップＳ１０３の第１例として、プロセッサ１２は、ステップＳ１０１で取得したビデオデータに含まれる顔の画像ＩＭＧ１０１ａに対して、顔面動作符号化システム（以下「ＦＡＣＳ」（Facial Action Coding System）という）理論に基づく画像解析を実行することにより、顔の部位毎に、動きの変化のレベルに関するアクションユニット情報を生成する。このアクションユニット情報は、商品に対するユーザの表情の変化を示す表情変化指標の一例である。 As a first example of step S103, the processor 12 applies the theory of facial action coding system (hereinafter referred to as "FACS" (Facial Action Coding System)) theory to the image IMG101a of the face included in the video data acquired in step S101. By performing an image analysis based on the above, action unit information on the level of change in motion is generated for each part of the face. The action unit information is an example of a facial expression change index indicating a change in the user's facial expression on the product.

　ステップＳ１０３の第２例として、プロセッサ１２は、ステップＳ１０１で取得した表情筋信号から、表情筋筋電図（「表情変化指標」の一例）を生成する。 As a second example of step S103, the processor 12 generates an expression muscle electromyogram (an example of an “expression change index”) from the expression muscle signal acquired in step S101.

　ステップＳ１０３の後、クライアント装置１０は、ステップＳ１０３で得られた表情変化指標に基づいて、感情の推定（Ｓ１０４）を実行する。 After step S103, the client device 10 executes emotion estimation (S104) based on the facial expression change index obtained in step S103.

　ステップＳ１０４の第１例としては、プロセッサ１２は、各部位のアクションユニット情報を、感情を推定するための感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。
　感情情報は、例えば、以下の情報を含む。
　・感情の種類（一例として、喜び、悲しみ、怒り、驚き、恐怖、又は、苛立ち）に関する情報
　・感情の強度に関する情報 As a first example of step S104, the processor 12 relates to the user's emotion for each image frame forming the video data by applying the action unit information of each part to the emotion estimation formula for estimating the emotion. Estimate emotional information.
Emotion information includes, for example, the following information.
Information on the type of emotion (for example, joy, sadness, anger, surprise, fear, or annoyance) Information on emotion intensity

　ステップＳ１０４の第２例としては、記憶装置１１には、表情筋筋電図とユーザの感情との関係を示す基準情報が記憶されている。プロセッサ１２は、表情筋筋電図と、記憶装置１１に記憶された基準情報と、を対比することにより、ユーザの感情に関する感情情報を推定する。 As a second example of step S104, the storage device 11 stores reference information indicating the relationship between the expression muscle electromyogram and the user's emotion. The processor 12 estimates emotion information on the user's emotion by comparing the expression muscle electromyogram with the reference information stored in the storage device 11.

　ステップＳ１０４の第３例としては、プロセッサ１２は、アクションユニット情報から推定した感情情報と、表情筋筋電図から推定した感情情報と、に所定のアルゴリズムを適用することにより、アクションユニット情報及び表情筋筋電図の両方に基づく感情情報を推定する。 As a third example of step S104, the processor 12 applies the predetermined algorithm to the emotion information estimated from the action unit information and the emotion information estimated from the expression muscle electromyogram to obtain action unit information and an expression Emotional information is estimated based on both electromyography.

　ステップＳ１０４の後、クライアント装置１０は、ステップＳ１０４で得られた表情変化指標に基づいて、反応スコアの計算（Ｓ１０５）を実行する。
　具体的には、プロセッサ１２は、商品情報データベース（図５）を参照して、ステップＳ１０２で特定した商品ＩＤに関連付けられた商品名に関する情報を特定する。
　プロセッサ１２は、ステップＳ１０４で推定した感情情報（つまり、ユーザの表情の変化から得られる感情情報）を、反応スコアの計算式に適用することにより、反応スコアを計算する。
　プロセッサ１２は、ステップＳ１０４で推定した感情情報、及び、ステップＳ１０５で計算した反応スコアに基づく画面Ｐ１０２（図８）をディスプレイ１５に表示する。 After step S104, the client device 10 executes the calculation of the reaction score (S105) based on the facial expression change index obtained in step S104.
Specifically, the processor 12 refers to the product information database (FIG. 5), and identifies information on the product name associated with the product ID identified in step S102.
The processor 12 calculates a response score by applying the emotion information (that is, the emotion information obtained from the change in the user's expression) estimated in step S104 to the equation for calculating the response score.
The processor 12 displays on the display 15 a screen P102 (FIG. 8) based on the emotion information estimated in step S104 and the reaction score calculated in step S105.

　画面Ｐ１０２は、表示オブジェクトＡ１０１、Ａ１０２ａ、及びＡ１０２ｂと、ボタンオブジェクトＢ１０２と、を含む。
　表示オブジェクトＡ１０１は、画面Ｐ１０１（図７）と同様である。
　表示オブジェクトＡ１０２ａには、グラフ画像ＩＭＧ１０２が表示される。グラフ画像ＩＭＧ１０２は、感情の種類（例えば、喜び（ＨＡＰＰＹ）及び悲しみ（ＳＡＤ））毎に、ビデオデータを構成する画像フレーム（Ｆ）毎の感情情報（ＥＭＯＴＩＯＮ　ＬＥＶＥＬ）の推移（つまり、商品に対するユーザの感情の時系列変化）を示している。
　表示オブジェクトＡ１０２ｂには、ステップＳ１０２で特定した商品情報と、ステップＳ１０５で計算した反応スコアと、が表示される。
　ボタンオブジェクトＢ１０２は、更新リクエスト（Ｓ１０６）を実行させるためのユーザ指示を受け付けるオブジェクトである。 The screen P102 includes display objects A101, A102a, and A102b, and a button object B102.
The display object A101 is similar to the screen P101 (FIG. 7).
A graph image IMG102 is displayed on the display object A102a. The graph image IMG102 indicates the transition of emotion information (EMOTION LEVEL) for each image frame (F) that composes the video data (that is, the user for the product) for each type of emotion (for example, joy (HAPPY) and sadness (SAD)). Change of emotions).
The display object A 102 b displays the product information specified in step S 102 and the response score calculated in step S 105.
The button object B102 is an object that receives a user instruction to execute an update request (S106).

　ステップＳ１０５の後、クライアント装置１０は、更新リクエスト（Ｓ１０６）を実行する。
　具体的には、ユーザがボタンオブジェクトＢ１０２を操作すると、プロセッサ１２は、更新リクエストデータをサーバ３０に送信する。
　更新リクエストデータは、以下の情報を含む。
　・ステップＳ１０２で特定された商品ＩＤ
　・ステップＳ１０５で計算された反応スコア After step S105, the client device 10 executes the update request (S106).
Specifically, when the user operates the button object B 102, the processor 12 sends update request data to the server 30.
The update request data contains the following information.
-The product ID identified in step S102
The response score calculated in step S105

　ステップＳ１０６の後、サーバ３０は、データベースの更新（Ｓ３０１）を実行する。
　具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤに関連付けられたユーザ属性情報を特定する。
　プロセッサ３２は、商品情報データベース（図５）を参照して、更新リクエストデータに含まれる商品ＩＤに関連付けられたレコード（以下「更新対象レコード」という）を特定する。
　プロセッサ３２は、更新対象レコードの「反応スコア」フィールドの値を以下のとおり更新する。
　・「全体平均」フィールドでは、更新リクエストデータに含まれる反応スコアに基づいて、平均値が更新される。
　・「属性平均」フィールドでは、更新リクエストデータに含まれる反応スコアと、特定したユーザ属性情報と、に基づいて平均値が更新される。 After step S106, the server 30 executes database update (S301).
Specifically, the processor 32 refers to the user information database (FIG. 4) to identify the user attribute information associated with the user ID included in the login request data.
The processor 32 refers to the product information database (FIG. 5) to specify a record (hereinafter referred to as an “update target record”) associated with the product ID included in the update request data.
The processor 32 updates the value of the “response score” field of the update target record as follows.
In the "overall average" field, the average value is updated based on the response score included in the update request data.
In the “attribute average” field, the average value is updated based on the response score included in the update request data and the specified user attribute information.

　本実施形態によれば、ユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標を得ることができる。 According to the present embodiment, the reaction score is calculated based on the change in the user's expression. This makes it possible to obtain an indicator of the objective evaluation of the user for the product.

（２）第２実施形態
　第２実施形態について説明する。第２実施形態は、会話中のユーザの表情の変化に基づいて、商品に対するユーザの反応スコアを取得する例である。 (2) Second Embodiment A second embodiment will be described. The second embodiment is an example in which a user's response score to a product is acquired based on a change in the user's expression in conversation.

（２－１）第２実施形態の概要
　第２実施形態の概要について説明する。図９は、第２実施形態の概要の説明図である。 (2-1) Outline of Second Embodiment The outline of the second embodiment will be described. FIG. 9 is an explanatory diagram of an outline of the second embodiment.

　図９に示すように、クライアント装置１０－１は、ユーザＡの顔を含む動画像をサーバ３０に送信する。クライアント装置１０－２は、ユーザＢの顔を含む動画像をサーバ３０に送信する。これにより、クライアント装置１０－１のユーザＡ、及び、クライアント装置１０－２のユーザＢは、サーバ３０を介して、ビデオ通話を行う。 As shown in FIG. 9, the client device 10-1 transmits a moving image including the face of the user A to the server 30. The client device 10-2 transmits a moving image including the face of the user B to the server 30. Thus, the user A of the client device 10-1 and the user B of the client device 10-2 make a video call via the server 30.

　商品を所有するユーザＡが、クライアント装置１０－１を用いて、自身の顔を含む動画像を撮影すると、サーバ３０は、評価の対象となる商品に関する商品情報を特定する。
　サーバ３０は、商品情報の特定に成功した場合、動画像に含まれるユーザＡの顔の画像を解析する。
　サーバ３０は、解析の結果に基づいて、商品に対するユーザＡの反応に関する指標である反応スコアを計算する。 When the user A who owns an item shoots a moving image including his / her face using the client device 10-1, the server 30 specifies item information on the item to be evaluated.
If the server 30 succeeds in specifying the product information, the server 30 analyzes the image of the face of the user A included in the moving image.
The server 30 calculates, based on the analysis result, a response score which is an index related to the response of the user A to the product.

　このように、サーバ３０は、商品を所有するユーザＡと、ユーザＢとの会話中に、ユーザＡの顔の画像の解析の結果に基づいて、当該商品に対するユーザＡの反応スコアを計算する。 Thus, the server 30 calculates the reaction score of the user A for the product based on the result of the analysis of the image of the face of the user A during the conversation between the user A who owns the product and the user B.

　これにより、商品についてユーザＢと会話しているユーザＡの商品に対する客観的な評価の指標を得ることができる。 As a result, it is possible to obtain an indicator of an objective evaluation of the product of the user A who is in conversation with the user B regarding the product.

（２－２）情報処理
　第２実施形態の情報処理について説明する。図１０は、第２実施形態の情報処理のシーケンス図である。図１１～図１２は、図１０の情報処理において表示される画面例を示す図である。 (2-2) Information Processing Information processing of the second embodiment will be described. FIG. 10 is a sequence diagram of information processing of the second embodiment. 11 to 12 show examples of screens displayed in the information processing of FIG.

　図１０に示すように、クライアント装置１０－１及び１０－２は、第１実施形態（図６）と同様に、ログインリクエスト（Ｓ１００）を実行する。
　ステップＳ１００の後、サーバ３０は、第１実施形態と同様に、ログイン認証（Ｓ３００）を実行する。 As shown in FIG. 10, the client devices 10-1 and 10-2 execute the login request (S100) as in the first embodiment (FIG. 6).
After step S100, the server 30 executes login authentication (S300) as in the first embodiment.

　ステップＳ３００の後、クライアント装置１０－１及び１０－２は、サーバ３０を介して、ビデオ通話シーケンス（Ｓ３１０）を開始する。
　具体的には、クライアント装置１０－１のプロセッサ１２は、ユーザＡの顔を含む動画像をサーバ３０に送信する。プロセッサ３２は、この動画像をクライアント装置１０－２に送信する。
　クライアント装置１０－２のプロセッサ１２は、ユーザＢの顔を含む動画像をサーバ３０に送信する。プロセッサ３２は、この動画像をクライアント装置１０－１に送信する。 After step S300, the client devices 10-1 and 10-2 start the video call sequence (S310) via the server 30.
Specifically, the processor 12 of the client device 10-1 transmits a moving image including the face of the user A to the server 30. The processor 32 transmits this moving image to the client device 10-2.
The processor 12 of the client device 10-2 transmits a moving image including the face of the user B to the server 30. The processor 32 transmits this moving image to the client device 10-1.

　クライアント装置１０－１のプロセッサ１２は、ディスプレイ１５に画面Ｐ１１０－１（図１１Ａ）を表示する。
　画面Ｐ１１０－１は、表示オブジェクトＡ１１０－１ａ～Ａ１１０－１ｂを含む。
　表示オブジェクトＡ１１０－１ａには、クライアント装置１０－１のカメラ１６が撮像した画像が表示される。このカメラ１６が撮像した画像は、ユーザＡの顔の画像ＩＭＧ１１０－１ａと、商品の画像ＩＭＧ１１０－１ｂと、を含む。
　表示オブジェクトＡ１１０－１ｂには、クライアント装置１０－２から送信された動画像が表示される。この動画像は、クライアント装置１０－２のユーザＢの顔の画像ＩＭＧ１１０－１ｃを含む。 The processor 12 of the client device 10-1 displays a screen P110-1 (FIG. 11A) on the display 15.
The screen P110-1 includes display objects A110-1a to A110-1b.
The display object A 110-1a displays an image captured by the camera 16 of the client device 10-1. The image captured by the camera 16 includes the image IMG110-1a of the face of the user A and the image IMG110-1b of the product.
A moving image transmitted from the client device 10-2 is displayed on the display object A 110-1b. This moving image includes the image IMG110-1c of the face of the user B of the client device 10-2.

　クライアント装置１０－２のプロセッサ１２は、ディスプレイ１５に画面Ｐ１１０－２（図１１Ｂ）を表示する。
　画面Ｐ１１０－２は、表示オブジェクトＡ１１０－２ａ～Ａ１１０－２ｂを含む。
　表示オブジェクトＡ１１０－２ａには、クライアント装置１０－２のカメラ１６が撮像した画像が表示される。このカメラ１６が撮像した画像は、ユーザＢの顔の画像ＩＭＧ１１０－２ａを含む。
　表示オブジェクトＡ１１０－２ｂには、クライアント装置１０－１から送信された動画像が表示される。この動画像は、クライアント装置１０－１のユーザＡの顔の画像ＩＭＧ１１０－２ｂと、商品の画像ＩＭＧ１１０－２ｃと、を含む。 The processor 12 of the client device 10-2 displays the screen P110-2 (FIG. 11B) on the display 15.
The screen P110-2 includes display objects A110-2a to A110-2b.
The display object A110-2a displays an image captured by the camera 16 of the client device 10-2. The image captured by the camera 16 includes the image IMG110-2a of the face of the user B.
The display object A110-2b displays a moving image transmitted from the client device 10-1. The moving image includes an image IMG110-2b of the face of the user A of the client device 10-1 and an image IMG110-2c of a product.

　ステップＳ３１０の後、サーバ３０は、商品の特定（Ｓ３１１）を実行する。 After step S310, the server 30 executes product specification (S311).

　ステップＳ３１１の第１例として、プロセッサ１２は、ユーザ指示（例えば、ディスプレイ１５に表示された画面に含まれるフィールドオブジェクトに対する商品情報）をサーバ３０に送信する。
　プロセッサ３２は、プロセッサ１２によって送信されたユーザ指示に基づいて、商品の商品ＩＤを特定する。 As a first example of step S311, the processor 12 transmits, to the server 30, a user instruction (for example, product information for a field object included in the screen displayed on the display 15).
The processor 32 specifies the product ID of the product based on the user instruction transmitted by the processor 12.

　ステップＳ３１１の第２例として、プロセッサ３２は、ステップＳ３１０で取得したビデオデータに含まれる商品の画像ＩＭＧ１１０－１ｂに対して、特徴量解析を適用することにより、画像ＩＭＧ１１０－１ｂの特徴量を抽出する。
　プロセッサ３２は、抽出した特徴量と、商品情報データベース（図５）の「特徴パターン」フィールドの情報とを比較することにより、画像ＩＭＧ１１０－１ｂが表す商品の商品ＩＤを特定する。 As a second example of step S311, the processor 32 extracts feature amounts of the image IMG110-1b by applying feature amount analysis to the image IMG110-1b of the item included in the video data acquired in step S310. Do.
The processor 32 specifies the product ID of the product represented by the image IMG 110-1b by comparing the extracted feature amount with the information of the “feature pattern” field of the product information database (FIG. 5).

　ステップＳ３１１の第３例として、ユーザが商品情報（例えば、商品名）の音声を発すると、音声入出力装置１７は、ユーザが発した音声を入力する。
　プロセッサ１２は、音声入出力装置１７によって入力された音声をサーバ３０に送信する。
　プロセッサ３２は、プロセッサ１２によって送信された音声を解析することにより、商品名を特定する。
　プロセッサ３２は、商品情報データベース（図５）を参照して、特定した商品名に関連付けられた商品ＩＤを特定する。 As a third example of step S311, when the user utters a voice of product information (for example, a product name), the voice input / output device 17 inputs a voice uttered by the user.
The processor 12 transmits the voice input by the voice input / output device 17 to the server 30.
The processor 32 identifies the trade name by analyzing the voice transmitted by the processor 12.
The processor 32 specifies the product ID associated with the specified product name with reference to the product information database (FIG. 5).

　ステップＳ３１１の後、サーバ３０は、顔画像解析（Ｓ３１２）を実行する。
　具体的には、プロセッサ３２は、ステップＳ３１０で取得したビデオデータに含まれる顔の画像ＩＭＧ１１０－１ａに対して、ＦＡＣＳ理論に基づく画像解析を実行することにより、ユーザＡの顔の部位毎に、動きの変化のレベルに関するアクションユニット情報を生成する。 After step S311, the server 30 executes face image analysis (S312).
Specifically, the processor 32 executes image analysis based on FACS theory on the face image IMG110-1a included in the video data acquired in step S310, thereby, for each part of the face of the user A, Generate action unit information on the level of change of movement.

　ステップＳ３１２の後、サーバ３０は、感情の推定（Ｓ３１３）を実行する。
　具体的には、プロセッサ３２は、ユーザＡの各部位のアクションユニット情報を、感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザＡの感情に関する感情情報を推定する。 After step S312, the server 30 executes emotion estimation (S313).
Specifically, the processor 32 estimates the emotion information on the emotion of the user A for each image frame constituting the video data by applying the action unit information of each part of the user A to the emotion estimation formula.

　ステップＳ３１３の後、サーバ３０は、反応スコアの計算（Ｓ３１４）を実行する。
　具体的には、プロセッサ３２は、商品情報データベース（図５）を参照して、ステップＳ３１１で特定した商品ＩＤに関連付けられた商品名に関する情報を特定する。
　プロセッサ３２は、ステップＳ３１３で推定したユーザＡの感情情報（つまり、ビデオデータを構成する全ての画像フレームに対応する感情情報）を、反応スコアの計算式に適用することにより、ユーザＡの反応スコアを計算する。
　プロセッサ３２は、計算した反応スコアに関する情報を、クライアント装置１０－１及び１０－２に送信する。 After step S313, the server 30 executes calculation of the response score (S314).
Specifically, the processor 32 refers to the product information database (FIG. 5) to specify information on the product name associated with the product ID specified in step S311.
The processor 32 applies the user A's emotion information estimated in step S313 (that is, emotion information corresponding to all the image frames constituting the video data) to the reaction score calculation formula, thereby the user A's reaction score Calculate
The processor 32 transmits information on the calculated response score to the client devices 10-1 and 10-2.

　ステップＳ３１４の後、クライアント装置１０－１及び１０－２は、反応スコアの提示（Ｓ１１０）を実行する。
　具体的には、プロセッサ１２は、ステップＳ３１４においてサーバ３０から送信された反応スコアに基づく画面Ｐ１１２（図１２）をディスプレイ１５に表示する。 After step S314, the client devices 10-1 and 10-2 execute presentation of response scores (S110).
Specifically, processor 12 causes display 15 to display screen P112 (FIG. 12) based on the response score transmitted from server 30 in step S314.

　画面Ｐ１１２は、画面Ｐ１１０－１（図１１）と同様のオブジェクト（表示オブジェクトＡ１１０－１ａ及びＡ１１０－１ｂ）に加えて、表示オブジェクトＡ１１２ａ～１１２ｂと、ボタンオブジェクトＢ１１２と、を含む。
　表示オブジェクトＡ１１２ａには、グラフ画像ＩＭＧ１１２ａが表示される。グラフ画像ＩＭＧ１１２ａは、ユーザＡの感情の種類（例えば、喜び（ＨＡＰＰＹ）及び悲しみ（ＳＡＤ））毎に、ビデオデータを構成する画像フレーム（Ｆ）毎の感情情報（ＥＭＯＴＩＯＮ　ＬＥＶＥＬ）の推移（つまり、商品に対するユーザＡの感情の時系列変化）を示している。
　表示オブジェクトＡ１１２ｂには、ユーザＡの反応スコアが表示される。
　ボタンオブジェクトＢ１１２は、動画の撮影を終了するためのユーザ指示を受け付けるオブジェクトである。 The screen P112 includes display objects A112a to 112b and a button object B112 in addition to objects (display objects A110-1a and A110-1b) similar to the screen P110-1 (FIG. 11).
A graph image IMG112a is displayed on the display object A112a. The graph image IMG 112 a indicates the transition (that is, the transition of emotion information (EMOTION LEVEL) for each image frame (F) constituting video data for each type of emotion of the user A (for example, joy (HAPPY) and sadness (SAD)). It shows the time series change of the emotion of the user A for the product.
The display object A 112 b displays the response score of the user A.
The button object B 112 is an object that receives a user instruction to end shooting a moving image.

　ステップＳ１１０の後、クライアント装置１０－１は、更新リクエスト（Ｓ１１２）を実行する。
　具体的には、ユーザＡがボタンオブジェクトＢ１１２を操作すると、プロセッサ１２は、更新リクエストデータをサーバ３０に送信する。 After step S110, the client device 10-1 executes the update request (S112).
Specifically, when the user A operates the button object B 112, the processor 12 sends update request data to the server 30.

　ステップＳ１１２の後、サーバ３０は、データベースの更新（Ｓ３１５）を実行する。
　具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤに関連付けられたユーザ属性情報を特定する。
　プロセッサ３２は、商品情報データベース（図５）を参照して、ステップＳ３１１で特定した商品ＩＤに関連付けられたレコード（以下「更新対象レコード」という）を特定する。
　プロセッサ３２は、更新対象レコードの「反応スコア」フィールドの値を以下のとおり更新する。
　・「全体平均」フィールドでは、ステップＳ３１４で計算した反応スコアに基づいて、平均値が更新される。
　・「属性平均」フィールドでは、ステップＳ３１４で計算した反応スコアと、特定したユーザ属性情報と、に基づいて平均値が更新される。 After step S112, the server 30 executes database update (S315).
Specifically, the processor 32 refers to the user information database (FIG. 4) to identify the user attribute information associated with the user ID included in the login request data.
The processor 32 refers to the product information database (FIG. 5), and identifies a record (hereinafter referred to as "update target record") associated with the product ID identified in step S311.
The processor 32 updates the value of the “response score” field of the update target record as follows.
In the "overall average" field, the average value is updated based on the response score calculated in step S314.
In the “attribute average” field, the average value is updated based on the response score calculated in step S314 and the specified user attribute information.

　人の感情は、他人との会話中により強く現れる。第２実施形態によれば、ユーザＢと商品について会話するユーザＡの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザＡの客観的な評価の指標の精度を向上させることができる。 People's emotions appear more strongly during conversations with others. According to the second embodiment, the reaction score is calculated based on the change in the expression of the user A who talks about the product with the user B. This makes it possible to improve the accuracy of the objective evaluation index of the user A for the product.

（２－３）第２実施形態の変形例
　第２実施形態の変形例について説明する。 (2-3) Modification of Second Embodiment A modification of the second embodiment will be described.

（２－３－１）第２実施形態の変形例１
　第２実施形態の変形例１について説明する。第２実施形態の変形例１では、会話中のユーザの両方の反応スコアを計算する。図１３は、第２実施形態の変形例１の情報処理において表示される画面例を示す図である。 (2-3-1) Modification 1 of the second embodiment
A modification 1 of the second embodiment will be described. In the first modification of the second embodiment, response scores of both users in a conversation are calculated. FIG. 13 is a view showing an example of a screen displayed in the information processing of the modification 1 of the second embodiment.

　第２実施形態の変形例１のプロセッサ３２は、ステップＳ３１２において、ユーザＡの反応スコアと、ユーザＢの反応スコアと、を計算する。 The processor 32 of the modification 1 of the second embodiment calculates the reaction score of the user A and the reaction score of the user B in step S312.

　第２実施形態の変形例１のプロセッサ１２は、ステップＳ１１０において、画面Ｐ１１４（図１３）をディスプレイ１５に表示する。 The processor 12 of the modification 1 of the second embodiment displays the screen P114 (FIG. 13) on the display 15 in step S110.

　画面Ｐ１１４は、画面Ｐ１１２（図１２）と同様のオブジェクトに加えて、表示オブジェクトＡ１１４ａ～Ａ１１４ｂを含む。
　表示オブジェクトＡ１１４ａには、グラフ画像ＩＭＧ１１４ａが表示される。グラフ画像ＩＭＧ１１４ａは、ユーザＢの感情の種類（例えば、喜び（ＨＡＰＰＹ）及び悲しみ（ＳＡＤ））毎に、ビデオデータを構成する画像フレーム（Ｆ）毎の感情情報（ＥＭＯＴＩＯＮ　ＬＥＶＥＬ）の推移（つまり、商品に対するユーザＡの感情の時系列変化）を示している。
　表示オブジェクトＡ１１４ｂには、ユーザＢの反応スコアが表示される。 The screen P114 includes display objects A114a to A114b in addition to the same objects as the screen P112 (FIG. 12).
A graph image IMG114a is displayed on the display object A114a. The graph image IMG114a indicates transition of emotion information (EMOTION LEVEL) for each image frame (F) constituting video data for each type of emotion of the user B (for example, joy (HAPPY) and sadness (SAD)). It shows the time series change of the emotion of the user A for the product.
The display object A 114 b displays the response score of the user B.

（２－３－２）第２実施形態の変形例２
　第２実施形態の変形例２について説明する。第２実施形態の変形例２では、会話中のユーザのうち、商品を所有するユーザの表情を優先して、反応スコアを計算する。 (2-3-2) Modification 2 of the second embodiment
A modification 2 of the second embodiment will be described. In the second modification of the second embodiment, among the users in conversation, the reaction score is calculated with priority given to the expression of the user who owns the product.

　第２実施形態の変形例２のプロセッサ３２は、ステップＳ３１２において、以下の何れかに該当するユーザ（つまり、商品への関心が相対的に高いユーザ）を第１ユーザとして特定し、第１ユーザ以外のユーザを第２ユーザとして特定する。
　・商品情報を指定したユーザ
　・ビデオデータに商品の画像が含まれるクライアント装置１０のユーザ
　・商品情報の音声を最初に発したユーザ The processor 32 of the modification 2 of the second embodiment identifies the user corresponding to any of the following (that is, the user having a relatively high interest in the product) as the first user in step S312, and the first user Identify the other users as the second user.
-User specifying product information-User of client device 10 whose video data includes an image of the product-User who first made an audio of product information

　記憶装置３１に記憶された感情推定式は、第１ユーザのための第１重み付け係数と、第２ユーザのための第２重み付け係数と、を含む。第１重み付け係数は、第２重み付け係数より大きい。つまり、この感情推定式では、第１ユーザの表情を第２ユーザより重視して、反応スコアが計算される。 The emotion estimation equation stored in the storage device 31 includes a first weighting factor for the first user and a second weighting factor for the second user. The first weighting factor is greater than the second weighting factor. That is, in this emotion estimation formula, the reaction score is calculated by placing more importance on the first user's expression than on the second user.

　プロセッサ３２は、ステップＳ３１２において、第１ユーザの第１アクションユニット情報と、第２ユーザの第２アクションユニット情報と、を生成する。 The processor 32 generates the first action unit information of the first user and the second action unit information of the second user in step S312.

　プロセッサ３２は、ステップＳ３１３において、第１アクションユニット情報及び第２アクションユニット情報を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、感情情報を推定する。この場合、第１アクションユニット情報は第１重み付け係数に適用される。第２アクションユニット情報は第２重み付け係数に適用される。 In step S313, the processor 32 estimates emotion information for each image frame constituting video data by applying the first action unit information and the second action unit information to the emotion estimation equation. In this case, the first action unit information is applied to the first weighting factor. The second action unit information is applied to the second weighting factor.

　第２実施形態の変形例２によれば、複数のユーザの顔の表情の変化に基づいて反応スコアを計算する場合において、商品を所有するユーザＡの表情を重視する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 According to the second modification of the second embodiment, when the reaction score is calculated based on changes in facial expressions of a plurality of users, the expression of the user A who owns the product is emphasized. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

（３）第３実施形態
　第３実施形態について説明する。第３実施形態は、仮想的な人物（以下「アバタ」という）との会話中のユーザの表情の変化に基づいて、商品に対するユーザの反応スコアを取得する例である。 (3) Third Embodiment The third embodiment will be described. The third embodiment is an example in which a user's response score to a product is acquired based on a change in the user's expression during a conversation with a virtual person (hereinafter referred to as "avatar").

（３－１）第３実施形態の概要
　第３実施形態の概要について説明する。図１４は、第３実施形態の概要の説明図である。 (3-1) Outline of Third Embodiment The outline of the third embodiment will be described. FIG. 14 is an explanatory diagram of an outline of the third embodiment.

　図１４に示すように、クライアント装置１０のユーザは、クライアント装置１０を用いて商品の動画像を撮影し、且つ、アバタとの会話を行う。 As shown in FIG. 14, the user of the client device 10 captures a moving image of a product using the client device 10 and performs a conversation with an avatar.

　クライアント装置１０は、評価の対象となる商品に関する商品情報を特定する。
　クライアント装置１０は、商品情報の特定に成功した場合、動画像に含まれるユーザの顔の画像を解析する。
　クライアント装置１０は、解析の結果に基づいて、商品に対するユーザの反応に関する指標である反応スコアを計算する。 The client device 10 specifies product information on a product to be evaluated.
If the client device 10 succeeds in identifying the product information, the client device analyzes the image of the user's face included in the moving image.
The client device 10 calculates a response score, which is an index related to the user's response to the product, based on the analysis result.

　このように、クライアント装置１０は、商品情報を特定することができた場合、アバタと会話するユーザの顔の画像の解析の結果に基づいて、当該商品情報に対応する商品に対するユーザの反応スコアを計算する。
　これにより、商品に対する客観的な評価の指標を得ることができる。 As described above, when the client apparatus 10 can specify the product information, the client apparatus 10 determines the user's response score for the product corresponding to the product information based on the result of analysis of the image of the face of the user talking with the avatar. calculate.
This makes it possible to obtain an indicator of an objective evaluation of a product.

（３－２）情報処理
　第３実施形態の情報処理について説明する。図１５は、第３実施形態の情報処理のシーケンス図である。図１６は、図１５の情報処理において表示される画面例を示す図である。 (3-2) Information Processing Information processing of the third embodiment will be described. FIG. 15 is a sequence diagram of information processing of the third embodiment. FIG. 16 is a view showing an example of a screen displayed in the information processing of FIG.

　図１５に示すように、クライアント装置１０は、第１実施形態（図６）と同様に、ログインリクエスト（Ｓ１００）を実行する。
　ステップＳ１００の後、サーバ３０は、第１実施形態と同様に、ログイン認証（Ｓ３００）を実行する。 As shown in FIG. 15, the client device 10 executes a login request (S100) as in the first embodiment (FIG. 6).
After step S100, the server 30 executes login authentication (S300) as in the first embodiment.

　ステップＳ３００の後、クライアント装置１０は、アバタの提示（Ｓ１２０）を実行する。
　具体的には、プロセッサ１２は、画面Ｐ１２０をディスプレイ１５（図１６）に表示する。 After step S300, the client device 10 executes avatar presentation (S120).
Specifically, the processor 12 displays the screen P120 on the display 15 (FIG. 16).

　画面Ｐ１２０は、画面Ｐ１０１（図７）と同様のオブジェクトに加えて、表示オブジェクトＡ１２０を含む。
　表示オブジェクトＡ１２０には、アバタの画像ＩＭＧ１２０が表示される。アバタは、ユーザに対する問いかけ（例えば「どんな商品？」という質問のテキスト及び音声の少なくとも１つ）を提示する。 The screen P120 includes a display object A120 in addition to the object similar to the screen P101 (FIG. 7).
In the display object A120, an avatar image IMG120 is displayed. The avatar presents a question to the user (e.g., at least one of the text and voice of the question "What product?").

　ステップＳ１２０の後、クライアント装置１０は、ビデオデータの取得（Ｓ１２１）を実行する。
　具体的には、ユーザがボタンオブジェクトＢ１０１を操作し、且つ、アバタの問いかけに対して回答（例えば、回答に関するテキスト及び音声の少なくとも１つ）の入力を行うと、プロセッサ１２は、ビデオデータを生成し、且つ、当該ビデオデータ及び回答に関する情報を記憶装置１１に記憶する。ビデオデータは、カメラ１６によって撮像された動画像と、音声入出力装置１７によって入力された音声と、を含む。 After step S120, the client device 10 executes acquisition of video data (S121).
Specifically, processor 12 generates video data when the user operates button object B 101 and inputs an answer (for example, at least one of text and sound related to an answer) to an avatar question. And stores the information on the video data and the answer in the storage unit 11. The video data includes a moving image captured by the camera 16 and an audio input by the audio input / output device 17.

　ステップＳ１２１の後、クライアント装置１０は、第１実施形態（図６）と同様に、ステップＳ１０２～Ｓ１０６を実行する。
　ステップＳ１０６の後、サーバ３０は、第１実施形態と同様に、ステップＳ３０１を実行する。 After step S121, the client device 10 executes steps S102 to S106 as in the first embodiment (FIG. 6).
After step S106, the server 30 executes step S301 as in the first embodiment.

　人の感情は、他人との会話中により強く現れる。第３実施形態によれば、他のユーザが存在しなくても、アバタと商品について会話するユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 People's emotions appear more strongly during conversations with others. According to the third embodiment, the response score is calculated based on the change in the expression of the user who talks about the product with the avatar even if there is no other user. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

（４）変形例
　本実施形態の変形例について説明する。 (4) Modified Example A modified example of the present embodiment will be described.

（４－１）変形例１
　変形例１について説明する。変形例１は、表情の変化及び音声を考慮して反応スコアを計算する例である。 (4-1) Modified Example 1
A first modification will be described. Modification 1 is an example of calculating a reaction score in consideration of changes in expression and speech.

　変形例１を第１実施形態に適用する場合、プロセッサ１２は、ステップＳ１０４において、ビデオデータに含まれる音声の特徴量を抽出する。
　プロセッサ１２は、アクションユニット情報と、音声の特徴量と、を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。 When applying the first modification to the first embodiment, the processor 12 extracts the feature amount of the audio included in the video data in step S104.
The processor 12 estimates the emotion information on the user's emotion for each image frame forming the video data by applying the action unit information and the voice feature amount to the emotion estimation equation.

　変形例１によれば、表情の変化及び音声を考慮して反応スコアを計算するので、顔画像解析のみを用いる場合よりも反応スコアの精度を向上させることができる。 According to the first modification, since the reaction score is calculated in consideration of the change in the expression and the voice, the accuracy of the reaction score can be improved as compared with the case of using only the face image analysis.

　変形例１は、第２実施形態及び第３実施形態にも適用可能である。 Modification 1 is also applicable to the second embodiment and the third embodiment.

（４－２）変形例２
　変形例２ついて説明する。変形例２は、表情の変化及び生体情報を考慮して反応スコアを計算する例である。 (4-2) Modification 2
A second modification will be described. Modification 2 is an example of calculating a response score in consideration of a change in expression and biological information.

　変形例２では、ユーザは、生体情報を計測可能な計測装置を装着している。生体情報は、例えば、以下の少なくとも１つを含む。
　・心拍数
　・脳波
　・体温
　・ストレスホルモンの値 In the second modification, the user wears a measuring device capable of measuring biological information. The biometric information includes, for example, at least one of the following.
-Heart rate-EEG-Body temperature-Stress hormone value

　変形例２を第１実施形態に適用する場合、プロセッサ１２は、ステップＳ１０４において、計測装置から生体情報を取得する。
　プロセッサ１２は、アクションユニット情報と、生体情報と、を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。 When applying the modification 2 to the first embodiment, the processor 12 acquires biological information from the measuring device in step S104.
The processor 12 estimates the emotion information on the user's emotion for each image frame constituting the video data by applying the action unit information and the biological information to the emotion estimation formula.

　変形例２によれば、表情の変化及び生体情報を考慮して反応スコアを計算するので、顔画像解析のみを用いる場合よりも反応スコアの精度を向上させることができる。 According to the second modification, since the reaction score is calculated in consideration of the change in the expression and the biological information, the accuracy of the reaction score can be improved as compared with the case of using only the face image analysis.

　変形例２は、第２実施形態及び第３実施形態にも適用可能である。 Modification 2 is also applicable to the second embodiment and the third embodiment.

（４－３）変形例３
　変形例３について説明する。変形例３は、表情の変化及び顔の傾きを考慮して、反応スコアを計算する例である。 (4-3) Modification 3
A third modification will be described. The third modification is an example of calculating the response score in consideration of the change in the expression and the inclination of the face.

　変形例３を第１実施形態に適用する場合、プロセッサ１２は、ステップＳ１０３において、アクションユニット情報に加えて、顔の傾きの変化量に関する傾き情報を生成する。
　プロセッサ１２は、ステップＳ１０４において、アクションユニット情報と、傾き情報と、を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。 When applying the modification 3 to the first embodiment, in step S103, the processor 12 generates tilt information on the amount of change in tilt of the face in addition to the action unit information.
In step S104, the processor 12 estimates the emotion information on the user's emotion for each image frame constituting the video data by applying the action unit information and the inclination information to the emotion estimation equation.

　変形例３によれば、表情の変化及び顔の傾きを考慮して反応スコアを計算するので、顔画像解析のみを用いる場合よりも反応スコアの精度を向上させることができる。 According to the third modification, since the reaction score is calculated in consideration of the change in the expression and the inclination of the face, the accuracy of the reaction score can be improved as compared with the case of using only the face image analysis.

　変形例３は、第２実施形態及び第３実施形態にも適用可能である。 The modification 3 is also applicable to the second embodiment and the third embodiment.

（４－４）変形例４
　変形例４について説明する。変形例４は、ユーザの顔の画像を含む静止画像に基づいて、反応スコアを計算する例である。 (4-4) Modified Example 4
A fourth modification will be described. The fourth modification is an example of calculating a response score based on a still image including an image of a user's face.

　変形例４のプロセッサ１２は、ステップＳ１０１においてビデオデータを生成した場合、ステップＳ１０３において、ビデオデータを構成する画像フレームから、所定条件を満たす画像フレームを抽出する。 When the video data is generated in step S101, the processor 12 of the fourth modification extracts an image frame satisfying a predetermined condition from the image frame constituting the video data in step S103.

　所定条件を満たす画像フレームは、例えば、以下の何れかである。
　・ボタンオブジェクトＢ１０２が操作された時点の画像フレーム
　・ビデオデータを構成する画像フレームのうち、表情の変化量が最も大きい画像フレーム
　・ビデオデータを構成する画像フレームのうち、ユーザが指定した画像フレーム（例えば、ユーザが「自身の感情がもっとも表れている」と感じた画像の画像フレーム） The image frame that satisfies the predetermined condition is, for example, any of the following.
Image frame when button object B 102 is operated Image frame having the largest change in expression among image frames forming video data Image frame specified by the user among image frames forming video data For example, an image frame of an image that the user felt that "your own emotion is most apparent"

　プロセッサ１２は、所定条件を満たす画像フレームに対して、特徴量解析を適用することにより、ユーザの感情に関する感情情報を推定する。 The processor 12 estimates the emotion information on the user's emotion by applying feature value analysis to the image frame that satisfies the predetermined condition.

　なお、変形例４では、ステップＳ１０１は省略可能である。この場合、クライアント装置１０は、ステップＳ１０１に変えて、ユーザの顔の画像を含む静止画像を取得する。 In the fourth modification, step S101 can be omitted. In this case, the client device 10 changes to step S101 to acquire a still image including an image of the user's face.

　変形例４によれば、静止画像の解析結果に基づいて反応スコアを計算する。これにより、静止画像（つまり、ある時点の表情）からでも、商品に対するユーザの客観的な評価の指標を得ることができる。 According to the fourth modification, the reaction score is calculated based on the analysis result of the still image. As a result, it is possible to obtain an indicator of an objective evaluation of the user on a product even from a still image (that is, an expression at a certain point in time).

（５）本実施形態の小括
　本実施形態について小括する。 (5) Summary of the Present Embodiment The present embodiment will be summarized.

　本実施形態の第１態様は、
　ユーザの表情に関する表情情報を取得する手段（例えば、ステップＳ１０１を実行するプロセッサ１２）を備え、
　商品に関する商品情報を特定する手段（例えば、ステップＳ１０２を実行するプロセッサ１２）を備え、
　商品情報が特定された場合、表情情報に基づいて表情の変化を解析する手段（例えば、ステップＳ１０３を実行するプロセッサ１２）を備え、
　解析の結果に基づいて、商品に対するユーザの反応に関する指標である反応スコアを計算する手段（例えば、ステップＳ１０４を実行するプロセッサ１２）を備える、
情報処理装置（例えば、クライアント装置１０）である。 The first aspect of the present embodiment is
A unit for acquiring facial expression information related to a user's facial expression (for example, the processor 12 that executes step S101);
A unit (for example, the processor 12 that executes step S102) for specifying product information related to a product;
When commodity information is specified, a unit (for example, the processor 12 that executes step S103) that analyzes a change in expression based on the expression information is provided.
Means (e.g., the processor 12 executing step S104) for calculating a response score which is an index related to the user's response to the product based on the analysis result
It is an information processing device (for example, the client device 10).

　第１態様によれば、ユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標を得ることができる。 According to the first aspect, the response score is calculated based on the change in the user's expression. This makes it possible to obtain an indicator of the objective evaluation of the user for the product.

　本実施形態の第２態様は、
　取得する手段は、ユーザの顔の画像を含む動画像、及び、ユーザの表情筋筋電図の少なくとも１つを取得する、
情報処理装置である。 The second aspect of the present embodiment is
The acquiring unit acquires at least one of a moving image including an image of the user's face and at least one of a user's expression electromyography.
It is an information processing apparatus.

　本実施形態の第３態様は、
　取得する手段は、商品の画像を含む動画像を更に取得し、
　特定する手段は、取得された動画像に含まれる商品の画像に基づいて、商品情報を特定する、
情報処理装置である。 The third aspect of the present embodiment is
The acquiring means further acquires a moving image including an image of a product.
The identifying means identifies the item information based on the image of the item included in the acquired moving image.
It is an information processing apparatus.

　本実施形態の第４態様は、
　少なくとも１人のユーザが発した商品情報を含む音声を取得する手段（例えば、音声入出力装置１７）を備え、
　特定する手段は、取得された音声に基づいて商品情報を特定する、
情報処理装置である。 The fourth aspect of the present embodiment is
A unit (e.g., a voice input / output device 17) for obtaining voice including product information issued by at least one user;
The identifying unit identifies the product information based on the acquired voice.
It is an information processing apparatus.

　本実施形態の第５態様は、
　解析する手段は、音声を更に解析する、
情報処理装置である。 The fifth aspect of the present embodiment is
The analyzing means further analyzes the speech,
It is an information processing apparatus.

　第５態様によれば、ユーザの顔の画像に加えて、ユーザの音声の解析結果を考慮して反応スコアが計算される。これにより、反応スコアの精度を向上させることができる。 According to the fifth aspect, in addition to the image of the user's face, the reaction score is calculated in consideration of the analysis result of the user's voice. This can improve the accuracy of the response score.

　本実施形態の第６態様は、
　ユーザの生体に関する生体情報 を取得する手段を備え、
　計算する手段は、解析の結果と、取得された生体情報と、に基づいて、反応スコアを計算する、
情報処理装置である。 The sixth aspect of the present embodiment is
A means for acquiring biological information on the user's living body;
The calculating means calculates a response score based on the analysis result and the acquired biological information.
It is an information processing apparatus.

　第６態様によれば、ユーザの顔の画像に加えて、ユーザの生体情報を考慮して反応スコアが計算される。これにより、反応スコアの精度を向上させることができる。 According to the sixth aspect, in addition to the image of the user's face, the reaction score is calculated in consideration of the biometric information of the user. This can improve the accuracy of the response score.

　本実施形態の第７態様は、
　解析の結果に基づいて、商品を見ているユーザの顔の傾きを判定する手段を備え、
　計算する手段は、傾きを参照して、反応スコアを計算する、
情報処理装置である。 The seventh aspect of the present embodiment is
Means for determining the inclination of the face of the user who is viewing the product based on the analysis result;
The means for calculating refers to the slope to calculate the response score,
It is an information processing apparatus.

　第７態様によれば、ユーザの顔の画像に加えて、ユーザの顔の傾きを考慮して反応スコアが計算される。これにより、反応スコアの精度を向上させることができる。 According to the seventh aspect, in addition to the image of the user's face, the response score is calculated in consideration of the inclination of the user's face. This can improve the accuracy of the response score.

　本実施形態の第８態様は、
　仮想ユーザのアバタ画像、ユーザに対する質問を含むテキストメッセージ、及び、ユーザに対する質問を含む音声メッセージの少なくとも１つをユーザに提示する手段（例えば、ステップＳ１２０を実行するプロセッサ１２）を備え、
　解析する手段は、提示のときの動画像に含まれる顔を解析する、
情報処理装置である。 The eighth aspect of the present embodiment is
Providing a user with at least one of an avatar image of the virtual user, a text message including a question for the user, and an audio message including a question for the user (eg, the processor 12 executing step S120);
The analysis means analyzes the face included in the moving image at the time of presentation,
It is an information processing apparatus.

　第８態様によれば、他のユーザが存在しなくても、アバタと商品について会話するユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 According to the eighth aspect, the response score is calculated based on the change in the expression of the user who talks about the product with the avatar, even if there is no other user. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

　本実施形態の第９態様は、
　商品を使用する第１ユーザの顔の第１画像を含む第１動画像と、第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ３２）を備え、
　商品に関する商品情報を特定する手段（例えば、ステップＳ３１１を実行するプロセッサ３２）を備え、
　商品情報が特定された場合、第１画像を解析する手段（例えば、ステップＳ３１２を実行するプロセッサ３２）を備え、
　解析の結果に基づいて、商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段（例えば、ステップＳ３１４を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。 The ninth aspect of the present embodiment is
A unit for acquiring a first moving image including a first image of a face of a first user who uses the product and a second moving image including a second image of a second user's face interacting with the first user (for example, , Processor 32) for performing step S310,
A unit (for example, a processor 32 that executes step S311) for specifying product information related to a product;
And a unit that analyzes the first image when the product information is specified (for example, the processor 32 that executes step S312).
Means (e.g., the processor 32 executing step S314) for calculating a response score which is an index relating to the response of the first user to the product based on the analysis result
It is an information processing apparatus (for example, server 30).

　第９態様によれば、ユーザＢと商品について会話するユーザＡの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザＡの客観的な評価の指標の精度を向上させることができる。 According to the ninth aspect, the reaction score is calculated based on the change in the expression of the user A who talks about the product with the user B. This makes it possible to improve the accuracy of the objective evaluation index of the user A for the product.

　本実施形態の第１０態様は、
　解析する手段は、第１画像と、第２ユーザの顔の第２画像と、を解析する、
情報処理装置である。 The tenth aspect of the present embodiment is
The analyzing means analyzes the first image and the second image of the second user's face,
It is an information processing apparatus.

　第１０態様によれば、複数のユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 According to the tenth aspect, the reaction score is calculated based on changes in the expressions of the plurality of users. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

　本実施形態の第１１態様は、
　第１動画像は、商品の画像を含み、
　特定する手段は、取得された第１動画像に含まれる商品の画像に基づいて、商品情報を特定する、
情報処理装置である。 The eleventh aspect of the present embodiment is
The first moving image includes an image of a product,
The identifying unit identifies the item information based on the image of the item included in the acquired first moving image.
It is an information processing apparatus.

　本実施形態の第１２態様は、
　取得する手段は、第１ユーザが発した商品情報を含む第１音声と、第２ユーザの第２音声と、を取得し、
　特定する手段は、取得された第１音声に基づいて商品情報を特定する、
情報処理装置である。 The twelfth aspect of the present embodiment is
The acquiring unit acquires a first voice including product information uttered by the first user and a second voice of the second user.
The identifying unit identifies the product information based on the acquired first voice.
It is an information processing apparatus.

　本実施形態の第１３態様は、
　解析する手段は、第１音声及び第２音声を更に解析する、
情報処理装置である。 The thirteenth aspect of the present embodiment is
The analyzing means further analyzes the first voice and the second voice,
It is an information processing apparatus.

　第１３態様によれば、複数のユーザの表情及び音声に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 According to a thirteenth aspect, the reaction score is calculated based on the expressions and voices of the plurality of users. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

　本実施形態の第１４態様は、
　第１ユーザの生体に関する第１生体情報と、第２ユーザの第２生体情報と、を取得する手段を備え、
　計算する手段は、解析の結果と、取得された第１生体情報及び第２生体情報と、に基づいて、反応スコアを計算する、
情報処理装置である。 The fourteenth aspect of the present embodiment is
Means for acquiring first biometric information on a first user's living body and second biometric information on a second user;
The calculating means calculates a response score based on the analysis result and the acquired first and second biological information.
It is an information processing apparatus.

　第１４態様によれば、複数のユーザの表情及び生体情報に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 According to the fourteenth aspect, the response score is calculated based on the facial expressions and the biological information of the plurality of users. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

　本実施形態の第１５態様は、
　解析の結果に基づいて、商品を見ている第１ユーザの顔の傾きと、第２ユーザの顔の傾きと、を判定する手段を備え、
　計算する手段は、傾きを参照して、反応スコアを計算する、
情報処理装置である。 The fifteenth aspect of the present embodiment is
Means for determining the inclination of the face of the first user who is viewing the product and the inclination of the face of the second user based on the analysis result;
The means for calculating refers to the slope to calculate the response score,
It is an information processing apparatus.

　第１５態様によれば、複数のユーザの表情及び顔の傾きに基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 According to the fifteenth aspect, the response score is calculated based on the expressions of the plurality of users and the inclination of the face. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

　本実施形態の第１６態様は、
　計算する手段は、第１ユーザの顔の画像の解析結果に第１重み付け係数を適用し、第２ユーザの顔の画像の解析結果に第２重み付け係数を適用することにより、反応スコアを計算し、
　第１重み付け係数は、第２重み付け係数より大きい、
情報処理装置である。 The sixteenth aspect of the present embodiment is
The calculating means calculates a reaction score by applying the first weighting factor to the analysis result of the first user's face image and applying the second weighting factor to the second user's face analysis result. ,
The first weighting factor is greater than the second weighting factor
It is an information processing apparatus.

　第１６態様によれば、複数のユーザの顔の表情の変化に基づいて反応スコアを計算する場合において、商品を所有するユーザの表情を重視する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。 According to the sixteenth aspect, when the reaction score is calculated based on changes in facial expressions of a plurality of users, the expression of the user who owns the product is emphasized. Thereby, the accuracy of the indicator of the user's objective evaluation of the product can be improved.

　本実施形態の第１７態様は、
　商品を所有する第１ユーザが使用する第１クライアント装置１０－１と、第１ユーザと対話する第２ユーザが使用する第２クライアント装置１０－２と、第１クライアント装置１０－１と第２クライアント装置１０－２との間のビデオ通話シーケンス（Ｓ３１０）を実行するサーバ３０と、を備える情報処理システム１であって、
　第１クライアント装置１０－１は、第１ユーザの顔の第１画像を含む第１動画像を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ１２）を備え、
　第２クライアント装置１０－２は、第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ１２）を備え、
　サーバ３０は、
　　第１動画像及び第２動画像を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ１２）を備え、
　　商品に関する商品情報を特定する手段（例えば、ステップＳ３１１を実行するプロセッサ１２）を備え、
　　商品情報が特定された場合、第１動画像に含まれる顔の画像を解析する手段（例えば、ステップＳ３１２を実行するプロセッサ１２）を備え、
　　解析の結果に基づいて、商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段（例えば、ステップＳ３１４を実行するプロセッサ１２）を備える、情報処理システム１である。 The seventeenth aspect of the present embodiment is
A first client device 10-1 used by a first user who owns a product, a second client device 10-2 used by a second user interacting with the first user, and a first client device 10-1 and a second An information processing system 1 comprising: a server 30 that executes a video call sequence (S310) with the client device 10-2;
The first client device 10-1 includes means (e.g., the processor 12 that executes step S310) for acquiring a first moving image including a first image of the first user's face,
The second client device 10-2 includes means for acquiring a second moving image including a second image of the second user's face (for example, the processor 12 executing step S310).
The server 30 is
A unit for acquiring the first moving image and the second moving image (for example, the processor 12 that executes step S310);
A unit (for example, the processor 12 that executes step S311) for specifying product information related to a product;
A unit that analyzes the image of the face included in the first moving image when the product information is specified (for example, the processor 12 that executes step S312);
The information processing system 1 is provided with a unit (for example, the processor 12 that executes step S314) that calculates a reaction score that is an index related to the reaction of the first user to the product based on the analysis result.

　本実施形態の第１８態様は、
　ユーザの顔の画像を含む静止画像を取得する手段を備え、
　商品に関する商品情報を特定する手段を備え、
　商品情報が特定された場合、前記静止画像を解析する手段を備え、
　解析の結果に基づいて、前記商品に対する前記ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理装置である。 The eighteenth aspect of the present embodiment is
A means for acquiring a still image including an image of the user's face;
Having means for specifying product information on the product;
Means for analyzing the still image when product information is specified;
Means for calculating a response score, which is an indicator of the user's response to the product, based on the analysis result;
It is an information processing apparatus.

　第１８態様によれば、ある時点のユーザの表情に基づいて、反応スコアを計算する。これにより、静止画像からでも、商品に対するユーザの客観的な評価の指標を得ることができる。 According to an eighteenth aspect, a response score is calculated based on the user's expression at a certain point in time. Thereby, even from the still image, it is possible to obtain an index of the objective evaluation of the user for the product.

　本実施形態の第１９態様は、
　コンピュータ（例えば、プロセッサ１２）を、上記各手段として機能させるためのプログラムである。 The nineteenth aspect of the present embodiment is
It is a program for functioning a computer (for example, processor 12) as each above-mentioned means.

（６）その他の変形例 (6) Other modifications

　記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。 The storage device 11 may be connected to the client device 10 via the network NW. The storage device 31 may be connected to the server 30 via the network NW.

　上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。 Each step of the above information processing can be executed by either the client device 10 or the server 30.

　画面Ｐ１０２（図８）の表示オブジェクトＡ１０２ａ及びＡ１０２ｂ、並びに、画面Ｐ１１２（図１２）の表示オブジェクトＡ１１２ａ及びＡ１１２ｂは、省略可能である。
　表示オブジェクトＡ１０２ａ及びＡ１０２ｂを省略する場合、ステップＳ１０６（図６）も省略される。この場合、クライアント装置１０は、ステップＳ１０５の後、ユーザ指示を受け付けることなく、更新リクエストデータをサーバ３０に送信する。
　表示オブジェクトＡ１１２ａ及びＡ１１２ｂを省略する場合、ステップＳ１１０及びＳ１１２（図１０）も省略される。この場合、サーバ３０は、ステップＳ３１４の後、クライアント装置１０との通信を行わずに、ステップＳ３１５を実行する。
　これにより、測定中に感情情報及び反応スコアを示すことによる測定への影響（例えば、感情情報及び反応スコアの客観性の毀損）を防ぐことができる。 The display objects A102a and A102b of the screen P102 (FIG. 8) and the display objects A112a and A112b of the screen P112 (FIG. 12) can be omitted.
When the display objects A102a and A102b are omitted, step S106 (FIG. 6) is also omitted. In this case, after step S105, the client device 10 transmits update request data to the server 30 without receiving a user instruction.
When the display objects A112a and A112b are omitted, steps S110 and S112 (FIG. 10) are also omitted. In this case, after the step S314, the server 30 executes the step S315 without communicating with the client device 10.
This makes it possible to prevent the influence on the measurement (for example, the loss of the objectivity of the emotion information and the response score) by showing the emotion information and the response score during the measurement.

　以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 As mentioned above, although the embodiment of the present invention was described in detail, the scope of the present invention is not limited to the above-mentioned embodiment. Further, various modifications and changes can be made to the embodiment described above without departing from the spirit of the present invention. In addition, the above embodiments and modifications can be combined.

１　　　　　　　：情報処理システム
１０　　　　　　：クライアント装置
１１　　　　　　：記憶装置
１２　　　　　　：プロセッサ
１３　　　　　　：入出力インタフェース
１４　　　　　　：通信インタフェース
１５　　　　　　：ディスプレイ
１６　　　　　　：カメラ
１７　　　　　　：音声入出力装置
３０　　　　　　：サーバ
３１　　　　　　：記憶装置
３２　　　　　　：プロセッサ
３３　　　　　　：入出力インタフェース
３４　　　　　　：通信インタフェース

  1: Information processing system 10: Client device 11: Storage device 12: Processor 13: Input / output interface 14: Communication interface 15: Display 16: Camera 17: Voice input / output device 30: Server 31: Storage device 32: Processor 33: On Output interface 34: Communication interface

Claims (19)

　ユーザの表情に関する表情情報を取得する手段を備え、
　商品に関する商品情報を特定する手段を備え、
　前記商品情報が特定された場合、前記表情情報に基づいて前記表情の変化を解析する手段を備え、
　前記解析の結果に基づいて、前記商品に対する前記ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理装置。 A means for acquiring facial expression information related to the user's facial expression;
Having means for specifying product information on the product;
And a means for analyzing a change in the expression based on the expression information when the product information is specified.
Means for calculating a response score, which is an index of the user's response to the product, based on the result of the analysis;
Information processing device. 　前記取得する手段は、前記ユーザの顔の画像を含む動画像、及び、前記ユーザの表情筋筋電図の少なくとも１つを取得する、
請求項１に記載の情報処理装置。 The acquiring unit acquires at least one of a moving image including an image of the face of the user and an expression electromyography of the user.
An information processing apparatus according to claim 1. 　前記取得する手段は、前記商品の画像を含む動画像を更に取得し、
　前記特定する手段は、前記取得された動画像に含まれる商品の画像に基づいて、前記商品情報を特定する、
請求項１又は２に記載の情報処理装置。 The acquiring unit further acquires a moving image including an image of the product.
The specifying unit specifies the product information based on an image of a product included in the acquired moving image.
The information processing apparatus according to claim 1. 　少なくとも１人のユーザが発した商品情報を含む音声を取得する手段を備え、
　前記特定する手段は、前記取得された音声に基づいて前記商品情報を特定する、
請求項１～３の何れかに記載の情報処理装置。 Means for acquiring voice including merchandise information issued by at least one user,
The identifying means identifies the product information based on the acquired voice.
The information processing apparatus according to any one of claims 1 to 3. 　前記解析する手段は、前記音声を更に解析する、
請求項４に記載の情報処理装置。 The analyzing means further analyzes the speech.
The information processing apparatus according to claim 4. 　前記ユーザの生体に関する生体情報を取得する手段を備え、
　前記計算する手段は、前記解析の結果と、前記取得された生体情報と、に基づいて、前記反応スコアを計算する、
請求項１～５の何れかに記載の情報処理装置。 Means for acquiring biological information on the living body of the user,
The calculating means calculates the response score based on the analysis result and the acquired biological information.
The information processing apparatus according to any one of claims 1 to 5. 　前記解析の結果に基づいて、前記商品を見ているユーザの顔の傾きを判定する手段を備え、
　前記計算する手段は、前記傾きを参照して、前記反応スコアを計算する、
請求項１～６の何れかに記載の情報処理装置。 Means for determining an inclination of a face of a user looking at the product based on a result of the analysis;
The calculating means calculates the response score with reference to the slope.
The information processing apparatus according to any one of claims 1 to 6. 　仮想ユーザのアバタ画像、前記ユーザに対する質問を含むテキストメッセージ、及び、前記ユーザに対する質問を含む音声メッセージの少なくとも１つを前記ユーザに提示する手段を備え、
　前記解析する手段は、前記提示のときの前記動画像に含まれる顔を解析する、
請求項２～７の何れかに記載の情報処理装置。 The system comprises: at least one of an avatar image of a virtual user, a text message including a question for the user, and a voice message including a question for the user to the user.
The analyzing unit analyzes a face included in the moving image at the time of presentation.
The information processing apparatus according to any one of claims 2 to 7. 　商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段を備え、
　前記商品に関する商品情報を特定する手段を備え、
　前記商品情報が特定された場合、前記第１画像を解析する手段を備え、
　前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理装置。 A means for acquiring a first moving image including a first image of a face of a first user who owns an item; and a second moving image including a second image of a face of a second user interacting with the first user Equipped
Means for specifying product information on the product;
Means for analyzing the first image when the product information is specified;
Means for calculating a response score, which is an index related to a first user's response to the product, based on the result of the analysis;
Information processing device. 　前記解析する手段は、前記第１画像と、前記第２ユーザの顔の第２画像と、を解析する、
請求項９に記載の情報処理装置。 The analyzing means analyzes the first image and a second image of the face of the second user.
The information processing apparatus according to claim 9. 　前記第１動画像は、前記商品の画像を含み、
　前記特定する手段は、前記取得された第１動画像に含まれる商品の画像に基づいて、前記商品情報を特定する、
請求項９又は１０に記載の情報処理装置。 The first moving image includes an image of the product,
The specifying unit specifies the product information based on an image of a product included in the acquired first moving image.
An information processing apparatus according to claim 9 or 10. 　前記取得する手段は、前記第１ユーザが発した商品情報を含む第１音声と、前記第２ユーザの第２音声と、を取得し、
　前記特定する手段は、前記取得された第１音声に基づいて前記商品情報を特定する、請求項９～１１の何れかに記載の情報処理装置。 The acquiring unit acquires a first voice including product information issued by the first user and a second voice of the second user.
The information processing apparatus according to any one of claims 9 to 11, wherein the specifying means specifies the product information based on the acquired first voice. 　前記解析する手段は、前記第１音声及び前記第２音声を更に解析する、
請求項１２に記載の情報処理装置。 The analyzing means further analyzes the first voice and the second voice,
The information processing apparatus according to claim 12. 　前記第１ユーザの生体に関する第１生体情報と、前記第２ユーザの第２生体情報と、を取得する手段を備え、
　前記計算する手段は、前記解析の結果と、前記取得された第１生体情報及び第２生体情報と、に基づいて、前記反応スコアを計算する、
請求項９～１３の何れかに記載の情報処理装置。 Means for acquiring first biometric information on a living body of the first user and second biometric information on the second user,
The calculating means calculates the response score based on the analysis result and the acquired first and second biological information.
The information processing apparatus according to any one of claims 9 to 13. 　前記解析の結果に基づいて、前記商品を見ている第１ユーザの顔の傾きと、前記第２ユーザの顔の傾きと、を判定する手段を備え、
　前記計算する手段は、前記傾きを参照して、前記反応スコアを計算する、
請求項９～１４の何れかに記載の情報処理装置。 Means for determining the inclination of the face of the first user who is viewing the product and the inclination of the face of the second user based on the result of the analysis;
The calculating means calculates the response score with reference to the slope.
An information processing apparatus according to any one of claims 9 to 14. 　前記計算する手段は、前記第１ユーザの顔の画像の解析結果に第１重み付け係数を適用し、前記第２ユーザの顔の画像の解析結果に第２重み付け係数を適用することにより、前記反応スコアを計算し、
　前記第１重み付け係数は、前記第２重み付け係数より大きい、
請求項９～１５の何れかに記載の情報処理装置。 The means for calculating applies the first weighting factor to the analysis result of the image of the face of the first user, and applies the second weighting factor to the analysis result of the image of the face of the second user. Calculate the score,
The first weighting factor is greater than the second weighting factor.
The information processing apparatus according to any one of claims 9 to 15. 　商品を所有する第１ユーザが使用する第１クライアント装置と、前記第１ユーザと対話する第２ユーザが使用する第２クライアント装置と、前記第１クライアント装置と前記第２クライアント装置との間のビデオ通話シーケンスを実行するサーバと、を備える情報処理システムであって、
　前記第１クライアント装置は、前記第１ユーザの顔の第１画像を含む第１動画像を取得する手段を備え、
　前記第２クライアント装置は、前記第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段を備え、
　前記サーバは、
　　前記第１動画像及び前記第２動画像を取得する手段を備え、
　　前記商品に関する商品情報を特定する手段を備え、
　　前記商品情報が特定された場合、前記第１動画像に含まれる顔の画像を解析する手段を備え、
　　前記解析の結果に基づいて、前記商品に対する前記第１ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理システム。 A first client device used by a first user who owns an article, a second client device used by a second user interacting with the first user, and a distance between the first client device and the second client device An information processing system comprising: a server for executing a video call sequence;
The first client device comprises means for acquiring a first moving image including a first image of a face of the first user,
The second client device comprises means for acquiring a second moving image including a second image of the face of the second user;
The server is
Means for acquiring the first moving image and the second moving image;
Means for specifying product information on the product;
And a unit that analyzes an image of a face included in the first moving image when the product information is specified.
Means for calculating a response score, which is an index related to a response of the first user to the product, based on a result of the analysis.
Information processing system. 　ユーザの顔の画像を含む静止画像を取得する手段を備え、
　商品に関する商品情報を特定する手段を備え、
　前記商品情報が特定された場合、前記静止画像を解析する手段を備え、
　前記解析の結果に基づいて、前記商品に対する前記ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理装置。 A means for acquiring a still image including an image of the user's face;
Having means for specifying product information on the product;
Means for analyzing the still image when the product information is specified;
Means for calculating a response score, which is an index of the user's response to the product, based on the result of the analysis;
Information processing device. 　コンピュータを、請求項１～１８の何れかに記載の各手段として機能させるためのプログラム。

  A program for causing a computer to function as each means according to any one of claims 1 to 18.

PCT/JP2019/000335 2018-01-25 2019-01-09 Information processing device, information processing system, and program for evaluating tester reaction to product using expression analysis technique Ceased WO2019146405A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019567964A JP7278972B2 (en) 2018-01-25 2019-01-09 Information processing device, information processing system, information processing method, and program for evaluating monitor reaction to merchandise using facial expression analysis technology

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-010593 2018-01-25
JP2018010593 2018-01-25

Publications (1)

Publication Number Publication Date
WO2019146405A1 true WO2019146405A1 (en) 2019-08-01

Family

ID=67396103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000335 Ceased WO2019146405A1 (en) 2018-01-25 2019-01-09 Information processing device, information processing system, and program for evaluating tester reaction to product using expression analysis technique

Country Status (3)

Country Link
JP (1) JP7278972B2 (en)
TW (1) TW201933234A (en)
WO (1) WO2019146405A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021070681A1 (en) * 2019-10-10 2021-04-15 株式会社村田製作所 Degree-of-interest evaluation system and degree-of-interest evaluation method
JPWO2022024392A1 (en) * 2020-07-31 2022-02-03
JP2022025715A (en) * 2020-07-29 2022-02-10 ポーラ化成工業株式会社 Method for evaluating cosmetic and cosmetic behavior
JP2023515067A (en) * 2020-02-21 2023-04-12 フィリップ・モーリス・プロダクツ・ソシエテ・アノニム Method and apparatus for interactive and privacy-preserving communication between servers and user devices
JP2023175013A (en) * 2019-10-21 2023-12-08 パナソニックＩｐマネジメント株式会社 Preference judgment system, preference judgment method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012171A (en) * 2004-06-24 2006-01-12 Hitachi Ltd Review management system and management method using biometric recognition
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US8235725B1 (en) * 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
US20140365272A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Product display with emotion prediction analytics

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030469A (en) * 2001-07-16 2003-01-31 Ricoh Co Ltd Product sales system, product sales system, program, and recording medium by virtual department store using virtual reality space
JP6029622B2 (en) * 2014-07-18 2016-11-24 ヤフー株式会社 Information management server, information management method, and information management program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012171A (en) * 2004-06-24 2006-01-12 Hitachi Ltd Review management system and management method using biometric recognition
US8235725B1 (en) * 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US20140365272A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Product display with emotion prediction analytics

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021070681A1 (en) * 2019-10-10 2021-04-15 株式会社村田製作所 Degree-of-interest evaluation system and degree-of-interest evaluation method
JP6915765B1 (en) * 2019-10-10 2021-08-04 株式会社村田製作所 Interest rate evaluation system and interest rate evaluation method
JP2023175013A (en) * 2019-10-21 2023-12-08 パナソニックＩｐマネジメント株式会社 Preference judgment system, preference judgment method, and program
JP2023515067A (en) * 2020-02-21 2023-04-12 フィリップ・モーリス・プロダクツ・ソシエテ・アノニム Method and apparatus for interactive and privacy-preserving communication between servers and user devices
JP2022025715A (en) * 2020-07-29 2022-02-10 ポーラ化成工業株式会社 Method for evaluating cosmetic and cosmetic behavior
JPWO2022024392A1 (en) * 2020-07-31 2022-02-03
WO2022024392A1 (en) * 2020-07-31 2022-02-03 富士通株式会社 Computation program, computation method, and information processing device

Also Published As

Publication number Publication date
JPWO2019146405A1 (en) 2021-02-25
TW201933234A (en) 2019-08-16
JP7278972B2 (en) 2023-05-22

Similar Documents

Publication Publication Date Title
WO2019146405A1 (en) Information processing device, information processing system, and program for evaluating tester reaction to product using expression analysis technique
US12056828B2 (en) Smartphone, a host computer, a system and a method for a virtual object on augmented reality
JP6524049B2 (en) Emotion estimation device, emotion estimation method, emotion estimation program, and emotion counting system
Carneiro et al. Multimodal behavioral analysis for non-invasive stress detection
JP6715410B2 (en) Evaluation method, evaluation device, evaluation program, and evaluation system
US20180047030A1 (en) Customer service device, customer service method, and customer service system
US11417045B2 (en) Dialog-based testing using avatar virtual assistant
GB2478034A (en) Systems for inducing change in a human physiological characteristic representative of an emotional state
JPWO2017115453A1 (en) Makeup simulation support apparatus, makeup simulation support method, and makeup simulation support program
GB2478035A (en) Systems for inducing change in a human physiological characteristic representative of an emotional state
GB2478036A (en) Systems for inducing change in a human physiological characteristic representative of an emotional state
JP2018032164A (en) Interview system
JP6040745B2 (en) Information processing apparatus, information processing method, information processing program, and content providing system
US20130052621A1 (en) Mental state analysis of voters
KR101800546B1 (en) Virtual interview system
JP4868360B2 (en) Interest trend information output device, interest trend information output method, and program
JP7081129B2 (en) Information processing equipment and programs
CN118690453A (en) Emotion determination method of architectural elements based on eyeball information and related equipment
JP7724446B2 (en) Information processing method, information processing system, and program
JP7406502B2 (en) Information processing device, program and information processing method
WO2019208152A1 (en) Information processing device and program
US20240362950A1 (en) Information processing method, information processing system, and recording medium
Kim et al. Quantifying Social Connection With Verbal and Non-Verbal Behaviors in Virtual Reality Conversations
JP7260826B2 (en) Learning device and evaluation information output device
EP4607432A1 (en) Evaluation value estimation system, evaluation value estimation method, evaluation value estimation device, evaluation value estimation program, and storage medium on which said program is recorded

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19744413

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019567964

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19744413

Country of ref document: EP

Kind code of ref document: A1