WO2020158129A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2020158129A1 WO2020158129A1 PCT/JP2019/045966 JP2019045966W WO2020158129A1 WO 2020158129 A1 WO2020158129 A1 WO 2020158129A1 JP 2019045966 W JP2019045966 W JP 2019045966W WO 2020158129 A1 WO2020158129 A1 WO 2020158129A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- sensing data
- time
- information processing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
- A61B5/02438—Measuring pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
- A61B5/0245—Measuring pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
- A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
Definitions
- the present disclosure relates to an information processing device, an information processing method, and a program.
- vital sensing data data related to a living body
- a device for measuring (measuring) is known.
- Patent Document 1 describes a device that accurately measures a pulse waveform without imposing a load on the user.
- a general measuring device that measures vital sensing data cannot correct the vital sensing data even if the subject (user) feels uncomfortable with the measured value of the vital sensing data obtained by the device. There was a problem.
- the present disclosure has been made in view of the above points, and an object thereof is to provide an information processing device, an information processing method, and a program capable of correcting the measurement result of vital sensing data in real time.
- the present disclosure includes, for example,
- the information processing apparatus includes a control unit that performs control for presenting information for correcting time-series vital sensing data acquired by a sensor.
- the present disclosure includes, for example,
- the control unit is an information processing method for performing control for presenting information for correcting the time-series vital sensing data acquired by the sensor.
- the present disclosure includes, for example,
- the control unit is a program for causing a computer to execute an information processing method for performing control to present information for correcting time-series vital sensing data acquired by a sensor.
- FIG. 1 is a diagram for explaining an external appearance example of a wearable device according to an embodiment.
- FIG. 2 is a block diagram for explaining an internal configuration example of the wearable device according to the embodiment.
- FIG. 3 is a flowchart showing the flow of overall processing performed by the wearable device according to the embodiment.
- FIG. 4A is a diagram showing a display example of a heart rate and the like in the first example, and
- FIG. 4B is a diagram for explaining correction information in the first example.
- FIG. 5 is a flowchart showing a flow of processing for displaying the heart rate change display in the first example.
- FIG. 6 is a flowchart showing a flow of processing performed according to an operation on the correction information in the first example.
- FIG. 7A and 7B are diagrams for explaining an example of a method for detecting a heartbeat.
- FIG. 8 is a diagram for explaining an example of an estimated situation in the second example.
- 9A to 9C are diagrams for schematically explaining the process in the second example.
- FIG. 10 is a flowchart showing the flow of processing for displaying the estimated status icon and the correction information in the second example.
- 11A to 11C are flowcharts showing a flow of processing performed according to an operation on the correction information in the second example.
- FIG. 12 is a flowchart showing the flow of processing for presenting a correction alert to the user in the third example.
- FIG. 13 is a flowchart showing a flow of processing performed according to an operation for a correction alert in the third example.
- FIG. 14A and 14B are diagrams schematically showing how the user waveform is corrected in the abnormal section.
- FIG. 15 is a diagram illustrating an example of an appropriate measurement position of the wearable device according to the embodiment.
- FIG. 16 is a diagram schematically showing a change in the measurement position of the wearable device according to the embodiment.
- FIG. 17 is a flowchart showing the flow of processing for presenting the setting change alert to the user U in the fourth example.
- FIG. 18A and FIG. 18B are flowcharts showing a flow of processing performed according to an operation for a setting change alert in the fourth example.
- FIG. 19 is a flowchart showing a flow of processing of presenting the correction information and performing the operation in response to the operation on the correction information in the fifth example.
- FIG. 20 is a diagram showing an example of the correction information in the fifth example.
- FIG. 21 is a flowchart showing the flow of processing in the sixth example of presenting correction information and performing an operation on the correction information.
- FIG. 22 is
- FIG. 1 is a diagram for explaining an external appearance example of a wearable device (wearable device 1) according to the present embodiment.
- the wearable device 1 is, for example, a wristband type device, and is capable of measuring vital sensing data of a user who wears the wearable device 1 on a wrist.
- the wearable device 1 has a main body 2 and a ring-shaped band 3 connected to the main body 2.
- the band length of the band portion 3 can be adjusted manually or automatically.
- FIG. 2 is a block diagram for explaining an internal configuration example of the wearable device 1.
- the wearable device 1 has, for example, a control unit 11, a display unit 12 provided in the main body unit 2, an input unit 13, a sensor 14, an actuator 15, and a memory 16.
- An operation input by the user U wearing the wearable device 1 is performed on the wearable device 1 via the input unit 13. Further, the wearable device 1 presents various kinds of information to the user U by an appropriate method such as display, voice, and vibration.
- the control unit 11 is composed of, for example, a CPU (Central Processing Unit), and integrally controls each unit of the wearable device 1.
- the control unit 11 according to the present embodiment presents information for correcting the time-series vital sensing data (time-series vital sensing data) acquired by the sensor 14 (hereinafter, appropriately referred to as correction information). Take control.
- the correction information is, for example, information for correcting the time-series vital sensing data in real time.
- the control unit 11 has a correction unit 11a that corrects the vital sensing data according to an operation input by the user U.
- the correction processing performed by the correction unit 11a the processing for correcting the vital sensing data itself and the setting of the wearable device 1 for acquiring the vital sensing data are changed, and the vital sensing measured after the change is performed. At least one of the processes of correcting the measurement result based on the data is included.
- the display unit 12 is a display including an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence), and the like. Various information such as time is displayed on the display unit 12. Further, the correction information is displayed on the display unit 12.
- LCD Liquid Crystal Display
- organic EL Electro Luminescence
- the input unit 13 is a general term for a configuration that receives an operation input by the user U.
- Specific examples of the input unit 13 include a button, a touch switch, a microphone, and the like.
- the sensor 14 is a generic term for a sensor that measures time-series vital sensing data of the user U, an acceleration sensor that detects the movement of the user U, an image sensor, and the like.
- the type and number of sensors that configure the sensor 14, the arrangement position, and the like can be appropriately changed according to the content of processing described below.
- a heartbeat data relating to a heartbeat, which means a heartbeat rate (pulse rate), a heartbeat waveform, and the like
- the actuator 15 has, for example, a hardware configuration for changing the band length of the band unit 3 and the position of the wearable device 1.
- the actuator 15 operates under the control of the control unit 11.
- the memory 16 is a general term for a ROM that stores a program executed by the control unit 11, a RAM used as a work memory when the program is executed, a memory used as a storage area for various data, and the like. is there.
- a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like can be applied.
- the wearable device 1 may have a configuration different from the configuration described above.
- the wearable device 1 may include a communication unit that performs communication, a speaker that reproduces sound, and the like.
- the communication by the communication unit may be wired communication or wireless communication. Examples of wireless communication include LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi (registered trademark), WUSB (Wireless USB), and the like.
- step ST1 the sensor 14 measures the heartbeat. Then, the process proceeds to step ST2.
- step ST2 correction information, which is information for correcting the heartbeat in real time, is displayed to the user U. Then, the process proceeds to step ST3.
- step ST3 it is determined whether the user U has set the correction flag.
- setting the correction flag means an operation input for correcting the measured heartbeat itself. If the correction flag is set, the process proceeds to step ST4. If the correction flag cannot be set, the process proceeds to step ST5.
- step ST4 the heartbeat is corrected. Then, the process proceeds to step ST5.
- At step ST5 at least one of the heartbeat measured by the sensor 14 and the heartbeat corrected by the user U is stored in the database (DB).
- the database DB may be the memory 16 of the wearable device 1, a database on the cloud, or a memory of a device different from the wearable device 1.
- step ST6 it is determined whether or not there is a trigger for changing the setting for measuring the heartbeat by the user. If there is no such trigger, the process ends. If there is a trigger to change the setting for measuring the heartbeat, the process proceeds to step ST7. In step ST7, the setting for measuring the heartbeat is changed, and the time-series vital sensing data is measured based on the changed setting. Then, the process ends.
- the changing tendency of the heart rate is displayed on the display unit 12.
- the user U uses the correction information displayed on the display unit 12 to make a correction when the displayed tendency of the change in the heart rate does not match the sensible (subjective) change in the heart rate.
- FIG. 4A is a diagram showing a display example (display example during measurement) of the heart rate and the like in this example.
- the heart rate measured by the sensor 14 is displayed on the display unit 12 as a heart rate display 21.
- “86 bpm” is displayed as the heart rate display 21.
- the value of the heart rate display 21 changes in real time.
- a heart rate change display 22 showing a change in the heart rate is displayed.
- an arrow pointing to the right side is displayed as the heart rate change display 22 as shown in FIG. 4A.
- the display indicating the tendency of the change in the heart rate may be a letter or a symbol other than the arrow instead of the arrow.
- the heart rate change display 22 allows the user U to easily recognize the difference from the perceived heart rate. For example, although the user U is exercising (it may be exercise with a light load), the arrow pointing to the right side, which is a display in which the heart rate is almost unchanged as the heart rate change display 22, and the heart rate are decreasing. When the arrow pointing to the lower right, which is a display, is displayed, the user U feels strange. In the present embodiment, in consideration of such a case, the data regarding the measured heartbeat can be corrected in real time in accordance with the sensation of the user U.
- the user U who feels uncomfortable with the current measurement result taps the heart rate change display 22.
- the display content of the display unit 12 transits from the screen shown in FIG. 4A to the screen shown in FIG. 4B, and the correction information 23 is displayed on the display unit 12.
- the correction information 23 in this example is, for example, a heart rate change display corresponding to a change tendency different from the heart rate change display 22 displayed during measurement.
- the correction information 23 is information indicating a change tendency of the time-series vital sensing data, and includes at least two of increase, decrease, and no change. As shown in FIG.
- an arrow pointing to the right side is displayed during measurement, and the user U felt uncomfortable with that, so the correction information 23 is “(arrow pointing to the upper right).
- “Increasing” and “(Arrow pointing to the lower right), Decreasing” are displayed. If the user U feels that the heart rate is increasing as his or her own feeling, the user U taps “(arrow pointing to the upper right), increasing” in the correction information 23. Further, if the user U feels that the heart rate is decreasing as his or her own feeling, the user U taps "(arrow pointing downward to the right), decreasing" in the correction information 23.
- the setting for acquiring the heartbeat is changed according to the tap operation.
- FIG. 5 is a flowchart showing the flow of the process of displaying the heart rate change display 22, and mainly embodies the contents of the process of step ST1 described above.
- step ST111 it is determined whether or not the measured heart rate has changed from the previous time. If the heart rate has not changed from the previous time, the process proceeds to step ST112. In step ST112, a “arrow pointing to the right” is displayed on the display unit 12 as the heart rate change display 22. Then, the process ends. In the determination process of step ST111, when the measured heart rate has changed from the previous time, the process proceeds to step ST113.
- step ST113 it is determined whether or not the heart rate is higher than the previous value.
- the process proceeds to step ST114.
- step ST114 since the heart rate is decreasing, an arrow pointing to the lower right is displayed as the heart rate change display 22. Then, the process ends.
- step ST115 since the heart rate is increasing, an arrow pointing to the upper right is displayed as the heart rate change display 22. Then, the process ends.
- FIG. 6 is a flow chart showing a flow of processing for displaying the correction information and performing an operation on the correction information.
- the flowchart shown in FIG. 6 embodies the contents of steps ST2, ST6, and ST7 of the entire process.
- step ST121 it is determined whether or not the heart rate change display 22 is tapped.
- the process returns to step ST121 and the determination process of step ST121 is repeated.
- the process proceeds to step ST122.
- step ST122 the correction information 23 (see FIG. 4B) is displayed on the display unit 12. Then, the process proceeds to step ST123.
- step ST123 the content of the operation for the correction information by the user U is determined. For example, it is determined whether or not the user U taps the increasing direction icon (arrow pointing to the upper right). When the arrow pointing to the upper right is tapped, the process proceeds to step ST124.
- step ST124 the control unit 11, specifically, the correction unit 11a performs control to lower the threshold value for detecting a heartbeat. Then, the process ends.
- step ST123 the correction unit 11a performs control to increase the threshold for detecting a heartbeat. Then, the process ends.
- a threshold value (0.2 V in the example shown in FIG. 7A) for detecting a heartbeat is set for an electrocardiogram (ECG) waveform.
- ECG electrocardiogram
- the threshold value for the pulse wave is set as shown in FIG. 7B (0.2 V in the example shown in FIG. 7B).
- the place where a voltage equal to or higher than the threshold is detected is regarded as the heartbeat.
- the fact that the arrow pointing to the upper right of the correction information 23 is tapped means that the user U feels that the heart rate is increasing.
- the threshold value is lowered and the heartbeat is easily detected according to the operation of tapping the arrow pointing to the upper right.
- the fact that the arrow pointing to the lower right of the correction information 23 is tapped means that the heart rate of the user U is sensationally decreasing. Therefore, as described above, the threshold value is raised and the heartbeat is hard to be detected in response to the operation of tapping the arrow pointing to the lower right. How much the threshold value is changed can be changed appropriately.
- the threshold value may be changed stepwise according to the operation of tapping a plurality of icons in the increasing direction or icons in the decreasing direction. The heart rate is measured based on the changed threshold value, and the measurement result is corrected using the measured heart rate.
- data such as the heart rate measured after the setting is changed is stored in the memory 16.
- the heart rate before the setting is changed may be stored or discarded.
- the change in the heart rate may be stored so that the boundaries before and after the setting change can be seen.
- the threshold for detecting the heartbeat is changed according to the operation on the correction information 23, but the algorithm for detecting the heartbeat may be changed, or the threshold for detecting the heartbeat may be changed.
- the setting (for example, the filter coefficient) of the electric circuit may be changed.
- the control unit 11 of the wearable device 1 estimates the situation of the user and displays the estimated situation icon based on the estimation result.
- the user U feels a sense of discomfort with respect to the displayed estimated situation icon
- the user U taps another estimated situation icon.
- the setting for measuring the heartbeat is changed according to such an operation.
- FIG. 8 is a diagram for explaining an example of the estimated situation in this example.
- “exercise”, “tension/excitement”, and “relaxation” are set as the estimated situations.
- Each estimated situation is associated with an icon (estimated situation icon) corresponding to the estimated situation, characteristics of the heart rate and measurement difficulty, and a detection mode (setting for measuring the heart rate).
- the detection mode includes at least one of hardware setting (for example, band length) and software setting.
- the estimated situation “exercise” has a high heart rate and is accompanied by body movements, so the difficulty of measuring the heart rate becomes high. Therefore, as a detection mode corresponding to the estimated situation “exercise”, the band length is made 0.5 cm to 1 cm shorter than the outer circumference of the wrist to be tight. Further, a body movement removing algorithm or the like is applied to reduce the influence of the body movement on the measurement. Further, since the heart rate is high, the frequency of acquiring the heart rate is increased.
- the band length is set to about the wrist circumference.
- the band length is set to be +0.5 cm to 1 cm longer than the outer circumference of the wrist to loosen it. Moreover, since the heart rate is low, the frequency of acquiring the heart rate is reduced.
- FIG. 9A is a diagram showing a display example while measuring a heartbeat.
- a heart rate display 31 (86 bpm in the illustrated example) indicating the heart rate is displayed.
- an estimated status icon 32 is displayed on the display unit 12.
- the estimated situation determined by the wearable device 1 is Judge that it is wrong and correct the estimated situation.
- the user U taps the location of the estimated status icon 32. Then, the display content of the display unit 12 transits from the content shown in FIG. 9A to the content shown in FIG. 9B. As shown in FIG. 9B, the display unit 12 displays all three estimated situation icons as the correction information 33.
- the user U taps the estimated state icon of the estimated state “exercise”, for example.
- the setting for acquiring the heartbeat is switched to the detection mode corresponding to the estimated situation “exercise”.
- the heart rate is corrected by the heart rate measured in the detection mode after switching (121 bpm in the illustrated example), and the corrected heart rate is displayed as the heart rate display 31.
- the estimated state icon 32 switches to an icon corresponding to the estimated state “exercise”.
- the user U can change the estimated situation to match his/her own feeling and display the heart rate measured in the detection mode according to the feeling.
- the estimated situation icon that enables an intuitive operation instead of directly correcting the heart rate, even a user U who does not have specialized knowledge can easily perform a mode for detecting a heartbeat. Can be changed.
- the band length may be changed, for example, by driving the actuator 15 under the control of the control unit 11, or by enclosing a gas such as air or gas inside the band length. Alternatively, other known methods may be used.
- FIG. 10 is a flowchart showing the flow of the process of displaying the estimated status icon and the correction information, and mainly embodies the contents of the processes of steps ST1 and ST2 described above.
- step ST211 the acceleration and the heartbeat of the user U are measured by the sensor 14 in step ST211. Then, the process proceeds to step ST212.
- step ST212 the acceleration acquired by the sensor 14 is compared with a threshold value to determine whether or not the body of the user U is moving. If the acceleration is larger than the threshold value, the process proceeds to step ST213. Since the acceleration is larger than the threshold value, it is determined that the body of the user U is moving. Therefore, in step ST213, the estimated situation is determined to be "exercise”. Then, the process proceeds to step ST214.
- step ST214 the estimated situation icon 32 corresponding to the determined estimated situation is displayed (see FIG. 9A).
- the heart rate display 31 is also displayed together with the estimated status icon 32. Then, the process proceeds to step ST215.
- step ST215 it is determined whether the estimated status icon 32 is tapped. If estimated state icon 32 is not tapped, the process returns to step ST215. If estimated state icon 32 is tapped, the process proceeds to step ST216.
- step ST216 since the estimated status icon 32 is tapped, the correction information 33 is displayed on the display unit 12 (see FIG. 9B). Then, the process ends.
- step ST212 if the acceleration is equal to or less than the threshold value, the process proceeds to step ST217.
- step ST217 the heartbeat measured by the sensor 14 and the threshold for heartbeat are compared. As a result of the comparison, if the heartbeat is higher than the threshold value, the process proceeds to step ST218.
- step ST2128 the estimated situation is determined to be “tension/excitement” because the body movement of the user is small and the heartbeat is high. Then, the process proceeds to step ST214. Since the processing after step ST214 has already been described, duplicate description will be omitted.
- step ST217 if the heartbeat is less than or equal to the threshold value, the process proceeds to step ST219.
- step ST219 the estimated situation is determined to be "relaxed" because the user's body movement is small and the heartbeat is low. Then, the process proceeds to step ST214. Since the processing after step ST214 has already been described, duplicate description will be omitted.
- FIGS. 11A to 11C are flowcharts showing a flow of processing performed according to an operation on the correction information (correction information 33).
- the correction information when the correction information is operated, the setting (detection mode) for measuring the heartbeat is changed. Therefore, the processes of the flowcharts shown in FIGS. 11A to 11C mainly embody the contents of the processes of steps ST6 and ST7 described above.
- step ST22 the estimated state icon of “exercise” in the correction information 33 is tapped in step ST221. Then, the process proceeds to step ST222.
- step ST222 the correction unit 11a changes the detection mode for detecting the heartbeat to the detection mode corresponding to the estimated situation “exercise” according to the operation in step ST221.
- the heartbeat is measured according to the changed detection mode. Then, the process ends.
- step ST225 After the process is started in the flowchart shown in FIG. 11B, the estimated state icon of “tension/excitement” in the correction information 33 is tapped in step ST225. Then, the process proceeds to step ST226.
- step ST226 the correction unit 11a changes the detection mode for detecting the heartbeat to the detection mode corresponding to the estimated situation “tension/excitement” according to the operation in step ST225.
- the heartbeat is measured according to the changed detection mode. Then, the process ends.
- step ST228 After the process is started in the flowchart shown in FIG. 11C, the estimated state icon of “relaxed” in the correction information 33 is tapped in step ST228. Then, the process proceeds to step ST229.
- step ST229 the correction unit 11a changes the detection mode for detecting the heartbeat to the detection mode corresponding to the estimated situation “relaxed” in response to the operation in step ST226.
- the heartbeat is measured according to the changed detection mode. Then, the process ends.
- the user U who can use the second example, it is assumed that the user U has a knowledge that the heart rate is high during exercise or when the sympathetic nerve is dominant and the heart rate is low during relaxation.
- the estimated situation is not limited to the three estimated situations described above, and other estimated situations may be set.
- the user U may be allowed to customize the icon of the estimated situation and the content of the detection mode.
- the third example is an example in which the user U can directly correct the data regarding the heartbeat when the data regarding the heartbeat (pulse wave or electrocardiogram) acquired by the sensor 14 is missing due to some cause. That is, this is an example in which the time-series vital sensing data itself can be corrected.
- the correction is not limited to the operation by the user U, and may be performed automatically, or the user U may select manual or automatic correction.
- FIG. 12 is an example in which a correction alert, which is an example of correction information, is presented to the user U, and mainly embodies the contents of the processing in steps ST1 and ST2 described above.
- step ST311 the heartbeat waveform (pulse wave/electrocardiogram) is acquired in time series by the sensor 14, and the acquired waveform (hereinafter, appropriately referred to as a user waveform) is displayed on the display unit 12. Then, the process proceeds to ST312.
- the heartbeat waveform pulse wave/electrocardiogram
- step ST312 a process of matching a user waveform with a normal waveform that is generally regarded as normal (an example of a predetermined pattern) is performed.
- the matching processing known processing such as determining cross-correlation can be applied.
- the process returns to step ST311.
- the process proceeds to step ST313.
- the difference between the user waveform and the normal waveform is equal to or greater than a certain value, it is not a physical abnormality, but is missing or apparent in a part of the user waveform due to some cause such as impact on the wearable device 1. It is assumed that a major abnormality occurs.
- step ST313 a section in which the user waveform and the normal waveform do not match (hereinafter appropriately referred to as an abnormal section) is detected. Then, the process proceeds to step ST314.
- step ST314 it is determined whether or not a waveform similar to the past exists in the memory 16 as a normal waveform before and after the abnormal section.
- a waveform similar to the past exists in the memory 16 as a normal waveform before and after the abnormal section the process proceeds to step ST315.
- step ST315 the log (past waveform) stored in the memory 16 is used to interpolate the waveform in the abnormal section with the past normal waveform. Then, the process ends.
- step ST3134 when there is no waveform similar to the past in the memory 16 as the normal waveform before and after the abnormal section, the process proceeds to step ST316.
- step ST316 a correction alert, which is an example of correction information, is presented to the user U.
- the correction alert is information that reminds the user U that there is a section in which normal time-series vital sensing data has not been acquired. For example, a highlight display of an abnormal section or a warning indicating that an abnormal section is detected Sounds and vibrations. Then, the process ends.
- FIG. 13 is a flowchart showing the flow of processing performed according to an operation on the correction information (correction alert).
- the process shown in the flowchart of FIG. 13 mainly embodies the contents of the processes of steps ST3 and ST4 described above.
- step ST321 the user waveform is corrected by handwriting, for example.
- the waveform in the abnormal section is corrected as schematically shown in FIG. 14B by an appropriate method such as a touch operation with a stylus pen, a mouse, or a finger. Then, the process proceeds to step ST322.
- step ST322 the corrected user waveform is stored in the memory 16 or the database on the cloud. Then, the process ends.
- the user U who can use the third example is assumed to be a user who has some knowledge about the outline and meaning of the pulse wave/electrocardiogram.
- the waveform can be corrected in real time even if there is a missing portion in the user waveform.
- the user waveform correction operation may be performed by the wearable device 1 or a device different from the wearable device 1.
- the user waveform is transmitted in real time to a personal computer or a tablet computer, and the user waveform is displayed on the personal computer or the like. Then, the correction operation may be performed on the user waveform displayed on the personal computer or the like.
- the input for correcting the time-series vital sensing data itself may be a voice input or the like.
- control unit 11 may perform machine learning by using the corrected portion of the user waveform as teacher data. Then, the result of machine learning may be applied in the processing of step ST315 described above. By applying the result of machine learning, even if the user waveform is lost due to similar noise, the user waveform can be automatically and appropriately corrected. Further, the process of matching the user waveform and the normal waveform described above may be performed for each waveform, or may be performed for each of a plurality of waveforms.
- an appropriate measurement position of the wearable device 1 is input in advance.
- an appropriate measurement position of the wearable device 1 worn near the wrist (hereinafter, appropriately referred to as measurement position PA) is input.
- the image sensor is provided on the side surface (the surface parallel to the extending direction of the band portion 3) of the main body portion 2 of the wearable device 1.
- the image is taken in the direction indicated by the arrow AA in FIG. 15 (the back side of the hand).
- a feature point (an example of information about the feature of the user) is set for the protrusion of the back of the hand or the like.
- the distance to the feature point is measured using a depth camera, a ToF (Time of Flight) sensor, etc.
- the distance to the obtained feature point is set as the position information of the measurement position PA.
- the preset measurement position PA can be changed later.
- the settings related to the position of the sensor are changed based on the information related to the characteristics of the user. For example, as shown in FIG. 16, it is assumed that the measurement position of the wearable device 1 changes from the measurement position PA to the measurement position PB by ⁇ P as the wearable device 1 is used. When the change ⁇ P is equal to or more than a certain value, it is determined that the wearable device 1 is located at a position where the heartbeat cannot be accurately measured, and the setting change alert is presented to the user U as correction information.
- FIG. 17 is an example in which a setting change alert, which is an example of correction information, is presented to the user U, and mainly embodies the contents of the processing in steps ST1 and ST2 described above.
- step ST411 the wearable device 1 is attached to an appropriate position (measurement position PA in this example). Then, the process proceeds to step ST412.
- step ST412 the heartbeat is measured by the sensor 14 of the wearable device 1 located at the measurement position PA. Then, the process proceeds to step ST413.
- step ST413 the position of the wearable device 1 deviates from the measurement position PA due to the movement of the user U or the wearable device 1 itself. Then, the process proceeds to step ST414.
- step ST414 the deviation ⁇ P of the distance to the feature point before and after the position change is detected based on the image acquired by the camera of the wearable device 1. Then, the process proceeds to step ST415.
- step ST415 it is determined whether the deviation ⁇ P is larger than a predetermined threshold value. If the deviation ⁇ P is less than or equal to the threshold value, the process returns to step ST412. If the deviation ⁇ P is larger than the threshold value, the process proceeds to step ST416.
- step ST416 a setting change alert, which is an example of correction information, is presented to the user U.
- the setting change alert is presented to the user U by a display such as "the position of the wearable device is displaced from an appropriate position", voice, vibration, or the like. Then, the process ends.
- FIGS. 18A and 18B are flowcharts showing the flow of processing performed according to an operation (for example, an operation of tapping a correction button or voice input) with respect to the correction information (setting change alert).
- the process shown in FIGS. 18A and 18B is a process embodying the process of step ST7 mainly in the whole process.
- FIG. 18A is a flowchart showing a flow of processing in which the measurement position of the wearable device 1 (sensor 14) is automatically corrected to the measurement position PA in response to the operation for the setting change alert.
- step ST421 the distance from the current position of wearable device 1 to measurement position PA is calculated.
- the calculated distance is the moving distance for correcting the measurement position of the wearable device 1 to the measurement position PA. Then, the process proceeds to step ST422.
- step ST422 the wearable device 1 is moved to the measurement position PA in response to the trigger (predetermined input) for the setting change alert. Then, the process proceeds to step ST423.
- step ST423 the band part 3 is tightened, and the wearable device 1 is reattached at the measurement position PA.
- steps ST422 and ST423 A specific example of steps ST422 and ST423 will be described.
- the band length (the degree of tightening) of the band portion 3 by allowing air and gas to be injected and discharged into the band portion 3.
- air and gas exhaust holes are provided on both side surfaces of the wearable device 1.
- the measurement position of the wearable device 1 is changed as described below. First, the amount of air in the band portion 3 is adjusted to loosen the band portion 3. Then, air is instantaneously discharged from the side surface of the wearable device 1 so that the wearable device 1 moves in the direction toward the measurement position PA. The discharge of air is repeated until the wearable device 1 reaches the measurement position PA.
- the wearable device 1 When the wearable device 1 reaches the measurement position PA, the discharge of air is stopped and the amount of air in the band part 3 is adjusted, so that the band part 3 is appropriately tightened. Since the wearable device 1 moves to the measurement position PA, the sensor 14 can measure the heartbeat at an appropriate position, and the correction can be performed based on the heartbeat measured at the appropriate position.
- the wearable device 1 may be moved to the measurement position PA in accordance with a natural arm swing, instead of air discharge. For example, after loosening the band portion 3, the wearable device 1 is moved by utilizing the movement of the user U such as arm swing. Whether or not the wearable device 1 is at the measurement position PA is determined at appropriate intervals even while the wearable device 1 is moving. When the wearable device 1 moves to the measurement position PA, the band portion 3 is properly tightened and the wearable device 1 is corrected to the measurement position PA.
- An acceleration sensor may be applied as a component of the sensor 14, and the band portion 3 may be loosened and the wearable device 1 may be moved when the acceleration sensor detects that the arm is facing downward. ..
- a configuration may be adopted in which a rail mechanism is provided, and the rail mechanism is slidable while the wearable device 1 can measure the heartbeat.
- the rail mechanism is attached to the arm of the user U (for example, the position from the elbow to the vicinity of the wrist).
- the wearable device 1 When the wearable device 1 is displaced from the measurement position PA, the wearable device 1 may be moved on the rail mechanism and returned to the measurement position PA.
- FIG. 18B is a flowchart showing a flow of processing in which the measurement position of the wearable device 1 (specifically, the sensor 14) is manually corrected to the measurement position PA in response to the operation for the setting change alert.
- step ST425 the user U loosens the band unit 3 by himself. Then, the wearable device 1 is manually moved to the measurement position PA by the user U. The user U may be notified that the wearable device 1 has moved to the measurement position PA. Then, the process proceeds to step ST426.
- step ST426 the band portion 3 is tightened by the user U, and the position of the wearable device 1 is corrected to the measurement position PA.
- the positional deviation that occurs in the arm direction of the wearable device 1 is corrected has been described, but the positional deviation that occurs in the direction orthogonal to the arm direction may be corrected automatically or manually.
- the feature point may be information (for example, a branch point of a vein or a position of a sweat gland) obtained by photographing the arm side.
- the heartbeat is fed back to the user U not by a numerical value or the like but by a pulsating (beating) sound (a sound corresponding to the heartbeat, for example, a sound such as “dop, dop”).
- a pulsating (beating) sound a sound corresponding to the heartbeat, for example, a sound such as “dop, dop”.
- the operation for the correction information includes at least one of an operation of inputting a voice based on the time-series vital sensing data and an operation of tapping based on the time-series data vital sensing data.
- the beat may be presented to the user by light, an image, vibration, or a combination thereof.
- FIG. 19 is a flowchart showing the flow of processing of presenting correction information and performing an operation on the correction information in this example.
- the process shown in the flowchart of FIG. 19 mainly embodies the contents of the processes of steps ST1 to ST4 described above.
- step ST511 the heart rate is measured by the sensor 14 in step ST511. Then, the process proceeds to step ST512.
- step ST512 a sound (beat sound) synchronized with the measured heartbeat is reproduced.
- the heartbeat may be presented to the user U by blinking and/or vibration in accordance with the heartbeat, or a combination thereof. Then, the process proceeds to step ST513.
- FIG. 20 is a diagram showing an example of the correction information in this example.
- the correction information in this example is, for example, a display in which an icon 51 imitating a microphone and an icon 52 imitating a tap operation on the display unit 12 are arranged side by side.
- the user U can input the pulsating sound felt by himself/herself by a favorite input method indicated by the icons 51 and 52. Then, the process proceeds to step ST514.
- step ST514 it is determined whether the correction information has been tapped. When the correction information is not tapped, the process of step ST514 is repeated. If the correction information is tapped, the process proceeds to step ST515.
- step ST515 the beat currently felt by the user U is input by voice or tap operation. For example, when the user U taps the icon 51 in the correction information, the user U speaks according to the pulsation that he/she feels, such as "dock, dod.". Further, when the user U taps the icon 52 in the correction information, the user U taps the display unit 12 according to the pulsation felt by the user U. Then, the process proceeds to step ST516.
- step ST5166 the heart rate is calculated based on the voice input or the tap operation input by the user U, and the measurement result is corrected by the calculated heart rate.
- the calculated heart rate is stored in the memory 16 or the like.
- the pulsating sound based on the calculated heart rate may be reproduced. In this way, the user U can make a correction in real time when the measured pulsating sound feels strange.
- the sixth example is an example in which, when the user U feels uncomfortable with the measured heartbeat, the heartbeat is measured again by a different heartbeat measuring method to make a correction, and the corrected heartbeat is stored. In this example, it is assumed that the heartbeat is measured by the optical measuring method in step ST1 in the overall flow.
- FIG. 21 is a flowchart showing the flow of the process of presenting correction information and performing an operation on the correction information in this example.
- the process shown in the flowchart of FIG. 21 mainly embodies the contents of the processes of steps ST2 to ST4 described above.
- the correction information is displayed on the display unit 12 in step ST611.
- the correction information in this example is not limited to specific information, but is information (for example, an icon) for automatically or manually correcting the heartbeat in real time. Therefore, the correction information in this example is at least information that allows selection of automatic heartbeat correction or manual heartbeat correction. Similar to the example described above, when the user U feels strange in the measurement result of the heartbeat, the user U operates the correction information. Then, the process proceeds to step ST612.
- step ST612 it is determined whether or not the operation on the correction information is a selection for automatic correction. If the selection is to correct automatically, the process proceeds to step ST613.
- step ST613 control to tighten the band portion 3 is performed. For example, air or gas is enclosed in the band portion 3 to increase the thickness of the band portion 3. Then, the process proceeds to step ST614.
- step ST614 the heartbeat is measured by a measuring method different from the optical heartbeat measuring method. For example, the thickness of the band portion 3 is increased and the heart rate is measured according to the same principle as that of the wrist type blood pressure monitor. Then, the process proceeds to step ST615.
- step ST615 the value of the heart rate measured in step ST614 is displayed on the display unit 12.
- the heart rate may be stored in the memory 16 or the like.
- the heart rate measured in step ST614 is applied to the measurement result, and the measurement result is corrected. Then, the process ends.
- step ST612 when the operation on the correction information is the selection of manually correcting, the processing proceeds to step ST616.
- step ST616 the user U himself measures the heartbeat. For example, the user U measures the heart rate by palpation. Then, the process proceeds to step ST617.
- step ST617 the user U inputs the heart rate, which is the measurement result, into the wearable device 1. Then, the process proceeds to step ST618.
- step ST618 the heart rate input by the user U is displayed on the display unit 12.
- the heart rate may be stored in the memory 16 or the like.
- the heart rate input in step ST617 is applied to the measurement result, and the measurement result is corrected. Then, the process ends.
- the heart rate is measured by a more accurate method (a method of directly measuring the heart rate by palpation, an oscillometric method, etc.), and Correction using heartbeat can be performed.
- time-series vital sensing data is easily affected by noise, and the quality of the data tends to be low. Therefore, the user tends to feel a sense of incongruity with respect to the measurement result of the time-series vital sensing data, because the user has a tendency different from his/her subjectivity.
- the correction information by presenting the correction information, it is possible to correct the time-series vital sensing data with high accuracy based on the current subjectivity of the user in real time. Further, the correction result can be displayed and notified by voice. In addition, the correction result can be stored.
- the correction result can be output to an external device and used for health management and the like. Further, according to the present embodiment, it is possible to correct the setting for acquiring the time-series vital sensing data not only from the viewpoint of software but also from the aspect of hardware (for example, the position and band length of the wearable device). .. By using not only the numerical value display but also the icon display and notification as the correction information, the user can easily notice that the time-series vital sensing data can be corrected. For those who are working out on heart rate, calorie consumption, etc. as a guide, if the index used as a guide is incorrect, the expected workout results will not be obtained. However, according to this example, since it is possible to make corrections on the time-series vital sensing data in real time so as to follow the sensation, it is possible to obtain a correct index that matches the situation of the user.
- the time-series vital sensing data can be corrected in real time, but the user may make an inappropriate correction. Therefore, measures may be taken against such inappropriate correction.
- a log of user corrections (values before/after correction) (an example of history information) is left in the memory and sent to a predetermined server.
- An expert such as a doctor diagnoses the correction log transmitted to the server, and the doctor determines whether or not the correction log is an appropriate correction.
- the doctor's judgment is used as teacher data to machine-learn whether or not the correction log should be approved. Then, by using the learning result, the determination as to whether or not the correction log can be made is automatically made thereafter. If the correction log is inappropriate, the user may be notified to that effect.
- the time-series vital sensing data may be modified based on the history information of the user.
- a correctable range and prevent wearable devices from accepting corrections outside the correctable range. For example, in the case of a heartbeat, a correction exceeding (40 to (220-age) bpm) may not be accepted. Further, the value output from the wearable device 1 may be set to 100% reliability, the reliability from the output value to the appropriate range may be calculated, and the correction may not be accepted when the reliability falls below the threshold value.
- the output value of the heart rate from the wearable device is 60 bpm, and the user is trying to correct the output value to 45 bpm.
- the reliability from the output value to the appropriate range is connected by a straight line, and the reliability threshold is set to 50%. Since 45 bpm is less than 50% in reliability, it cannot be corrected.
- the end points and the output values may be connected by a straight line or may be connected exponentially.
- a limit of a modifiable range such as permission may be set.
- the time-series vital sensing data may be data related to other biological information (for example, data related to respiratory rate) instead of data related to heartbeat. It may also be data relating to body temperature, VO2MAX, blood pressure, blood sugar, and the like.
- the setting for acquiring the time-series vital sensing data can be changed.
- the remeasurement may be performed when the user feels strange in the measurement result. For example, a measurement value and its likelihood (reliability) are displayed at the same time, and a UI (User Interface) that can be operated when the user desires remeasurement/recalculation is prepared.
- the user may press the remeasurement button to perform calibration and then remeasure the time-series vital sensing data.
- the likelihood is calculated by estimating the situation of the user at that time. Specifically, since there is a movement of the user's body during exercise, the likelihood is low.
- first to sixth processing examples may be performed independently, or may be performed in combination as long as no technical contradiction occurs.
- the wearable device is not limited to a wristband type device and may be a device that can be worn on the neck, ankles, head, ears, etc.
- the information processing device according to the present disclosure may be a device that is not a wearable device (for example, a stationary device that is placed in a training facility).
- the information processing device according to the present disclosure may be a device integrated with another device (for example, a wireless earphone).
- the present disclosure can also be realized by an apparatus, a method, a program, a system, etc.
- a program that performs the functions described in the above-described embodiments can be downloaded, and a device that does not have the functions described in the embodiments downloads and installs the program, and thus the device describes the embodiments. It is possible to perform the controlled control.
- the present disclosure can also be realized by a server that distributes such a program. The items described in each embodiment and modification can be combined as appropriate.
- the present disclosure can also take the following configurations.
- An information processing apparatus having a control unit that performs control for presenting information for correcting time-series vital sensing data acquired by a sensor.
- the correction information is information for correcting the time-series vital sensing data in real time.
- the control unit performs control to present, as the information for correction, information indicating a change tendency of the time-series vital sensing data.
- the information indicating the change tendency of the time-series vital sensing data includes at least two of increase, decrease, and no change.
- the information processing device wherein the control unit performs control to present, as the information for correction, information indicating an estimated situation of the user associated with the detection mode of the time-series vital sensing data.
- the information indicating the estimated situation of the user includes at least one of exercise, relaxation, tension, and excitement.
- the control unit compares the time-series vital sensing data with a predetermined pattern, and if the difference between the time-series vital sensing data and the pattern is a predetermined value or more, presents the information for correction.
- the information processing device according to (1).
- the information processing apparatus wherein the waveform corresponding to the time-series vital sensing data is modified according to an operation on the information for modifying.
- the information processing device according to (12) or (13), in which the range in which the modification can be changed is limited according to the reliability of the time-series vital sensing data.
- the information processing device wherein the time-series vital sensing data is corrected based on user history information.
- the operation for the information for correcting is an operation of manually interpolating a missing portion of the time-series vital sensing data, an operation of inputting a voice based on the time-series vital sensing data, based on the time-series vital sensing data.
- the information processing device which includes at least one of tapping operations.
- the information processing apparatus according to (1), wherein a method of acquiring the time-series vital sensing data is changed according to an operation on the information for correction.
- the information processing device according to any one of (1) to (17), which is configured as a wearable device.
- (20) A program that causes a computer to execute an information processing method in which a control unit performs control for presenting information for correcting time-series vital sensing data acquired by a sensor.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hematology (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
センサにより取得されたバイタルセンシングデータを、リアルタイムに修正するための情報を提示する制御を行う制御部を有する情報処理装置である。 図2
Description
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
従来から、生体に関するデータ(以下、バイタルセンシングデータと適宜、称する)。を計測(測定)する装置が知られている。例えば、下記の特許文献1には、使用者に負荷をかけることなく、脈波形を精度良く計測する装置が記載されている。
バイタルセンシングデータを計測する一般的な測定装置では、装置により得られたバイタルセンシングデータの計測値に、被験者(ユーザ)が違和感を覚えた場合であっても当該バイタルセンシングデータを修正することができないという問題があった。
本開示は、上述した点に鑑みてなされたものであり、バイタルセンシングデータの計測結果をリアルタイムに修正可能とした情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
本開示は、例えば、
センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う制御部を有する情報処理装置である。
センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う制御部を有する情報処理装置である。
本開示は、例えば、
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法である。
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法である。
本開示は、例えば、
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法を、コンピュータに実行させるプログラムである。
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法を、コンピュータに実行させるプログラムである。
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<実施の形態>
<変形例>
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
<実施の形態>
<変形例>
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
<実施の形態>
[ウェアラブル機器について]
(ウェアラブル機器の外観例)
本開示の実施の形態について説明する。本実施の形態では、情報処理装置の一例としてウェアラブル機器を例にして説明する。図1は、本実施の形態にかかるウェアラブル機器(ウェアラブル機器1)の外観例を説明するための図である。ウェアラブル機器1は、例えば、リストバンド型の機器であり、ウェアラブル機器1を手首に装着したユーザのバイタルセンシングデータを計測可能とされている。
[ウェアラブル機器について]
(ウェアラブル機器の外観例)
本開示の実施の形態について説明する。本実施の形態では、情報処理装置の一例としてウェアラブル機器を例にして説明する。図1は、本実施の形態にかかるウェアラブル機器(ウェアラブル機器1)の外観例を説明するための図である。ウェアラブル機器1は、例えば、リストバンド型の機器であり、ウェアラブル機器1を手首に装着したユーザのバイタルセンシングデータを計測可能とされている。
ウェアラブル機器1は、本体部2と、本体部2に接続されているリング状のバンド部3とを有している。バンド部3のバント長は、手動及び自動の少なくとも一方により調整可能とされている。
(ウェアラブル機器の内部構成例)
図2は、ウェアラブル機器1の内部構成例を説明するためのブロック図である。ウェアラブル機器1は、例えば、制御部11、本体部2に設けられる表示部12、入力部13、センサ14、アクチュエータ15及びメモリ16を有している。ウェアラブル機器1に対して、ウェアラブル機器1を装着したユーザUによる操作入力が入力部13を介してなされる。また、ユーザUに対してウェアラブル機器1により各種の情報が表示、音声、振動等の適宜な方法により提示される。
図2は、ウェアラブル機器1の内部構成例を説明するためのブロック図である。ウェアラブル機器1は、例えば、制御部11、本体部2に設けられる表示部12、入力部13、センサ14、アクチュエータ15及びメモリ16を有している。ウェアラブル機器1に対して、ウェアラブル機器1を装着したユーザUによる操作入力が入力部13を介してなされる。また、ユーザUに対してウェアラブル機器1により各種の情報が表示、音声、振動等の適宜な方法により提示される。
制御部11は、例えば、CPU(Central Processing Unit)から構成されており、ウェアラブル機器1の各部を統括的に制御する。本実施の形態にかかる制御部11は、センサ14により取得された時系列のバイタルセンシングデータ(時系列バイタルセンシングデータ)を、修正するための情報(以下、修正情報と適宜、称する)を提示する制御を行う。修正情報は、例えば、時系列バイタルセンシングデータをリアルタイムに修正するための情報である。制御部11は、ユーザUによる操作入力に応じて、バイタルセンシングデータに関する修正を行う修正部11aを有している。詳細は後述するが、修正部11aにより行われる修正処理としては、バイタルセンシングデータそのものを修正する処理及びバイタルセンシングデータを取得するためのウェアラブル機器1の設定を変更し、変更後に計測されたバイタルセンシングデータに基づいて計測結果を修正する処理の少なくとも一方が挙げられる。
表示部12は、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)等からなるディスプレイである。表示部12には、時刻等の各種の情報が表示される。また、表示部12には修正情報が表示される。
入力部13は、ユーザUによる操作入力を受け付ける構成を総称したものである。入力部13の具体例としては、ボタン、タッチスイッチ、マイクロホン等が挙げられる。
センサ14は、ユーザUの時系列バイタルセンシングデータを計測するセンサや、ユーザUの動きを検出する加速度センサ、イメージセンサ等を総称したものである。センサ14を構成するセンサの種類や数、配置位置等は、後述する処理の内容に応じて適宜、変更可能である。本実施の形態では、時系列バイタルセンシングデータの一例として心拍(心拍に関するデータであって、心拍数(脈拍数)や心拍の波形等を意味する)を挙げて説明する。
アクチュエータ15は、例えば、バンド部3のバンド長やウェアラブル機器1の位置を変更するためのハードウエア的な構成である。アクチュエータ15は、制御部11の制御に応じて動作する。
メモリ16は、制御部11により実行されるプログラムが格納されるROM、プログラムが実行される際にワークメモリとして使用されるRAM、各種のデータの保存領域として使用されるメモリ等を総称したものである。メモリ16としては、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等を適用することができる。
以上、ウェアラブル機器1の内部構成例について説明したが、ウェアラブル機器1が上述した構成と異なる構成を有していても良い。例えば、ウェアラブル機器1が通信を行う通信部や音を再生するスピーカ等を有していても良い。通信部による通信は、有線による通信でも良いし、無線による通信でも良い。無線通信としては、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi(登録商標)、またはWUSB(Wireless USB)等が挙げられる。
[ウェアラブル機器で行われる処理]
(全体の処理)
次に、ウェアラブル機器1で行われる処理について説明する。始めに、図3のフローチャートを参照して、ウェアラブル機器1で行われる全体の処理の流れについて説明する。なお、個々の処理の具体的な内容については後述する。また、以下に説明するフローチャートにおける処理は、特に断らない限り制御部11の制御に応じて行われる。他のフローチャートにおける処理についても同様である。
(全体の処理)
次に、ウェアラブル機器1で行われる処理について説明する。始めに、図3のフローチャートを参照して、ウェアラブル機器1で行われる全体の処理の流れについて説明する。なお、個々の処理の具体的な内容については後述する。また、以下に説明するフローチャートにおける処理は、特に断らない限り制御部11の制御に応じて行われる。他のフローチャートにおける処理についても同様である。
ステップST1では、センサ14により心拍が計測される。そして、処理がステップST2に進む。
ステップST2では、ユーザUに対して、心拍をリアルタイムに修正するための情報である修正情報が表示される。そして、処理がステップST3に進む。
ステップST3では、ユーザUが修正フラグを立てたか否かが判断される。ここで、修正フラグを立てるとは、計測された心拍そのものを修正する操作入力を意味する。修正フラグが立てられた場合には、処理がステップST4に進む。修正フラグが立てられない場合には、処理がステップST5に進む。
ステップST4では、心拍が修正される。そして、処理がステップST5に進む。
ステップST5では、センサ14によって計測された心拍及びユーザUにより修正された心拍の少なくとも一方がデータベース(DB)に記憶される。データベースDBは、ウェアラブル機器1のメモリ16でも良いし、クラウド上のデータベースでも良いし、ウェアラブル機器1とは異なる機器のメモリであっても良い。
そして、処理がステップST6に進む。ステップST6では、ユーザによって、心拍を計測するための設定を変更するトリガがあったか否かが判断される。かかるトリガがない場合は、処理が終了する。心拍を計測するための設定を変更するトリガがあった場合は、処理がステップST7に進む。ステップST7では、心拍を計測するための設定が変更され、変更後の設定に基づいて時系列バイタルセンシングデータが計測される。そして、処理が終了する。
(第1の例)
次に、上述した各処理の具体例について説明する。始めに、第1の例について説明する。第1の例は、心拍数の変化傾向が表示部12に表示される。ユーザUは、表示された心拍数の変化傾向が体感的(主観的)な心拍の変化傾向と一致しない場合に、表示部12に表示される修正情報を用いて修正する。
次に、上述した各処理の具体例について説明する。始めに、第1の例について説明する。第1の例は、心拍数の変化傾向が表示部12に表示される。ユーザUは、表示された心拍数の変化傾向が体感的(主観的)な心拍の変化傾向と一致しない場合に、表示部12に表示される修正情報を用いて修正する。
図4Aは、本例における心拍数等の表示例(計測中の表示例)を示す図である。図4Aに示すように、表示部12には、センサ14に計測された心拍数が心拍数表示21として表示される。図4Aに示す例では、心拍数表示21として「86bpm」が表示される。心拍数表示21の値は、リアルタイムに変化する。心拍数表示21の例えば右下には、心拍数の変化を示す心拍数変化表示22が表示される。心拍数が変化しない場合には、図4Aに示すように、心拍数変化表示22として右横を向く矢印が表示される。また、心拍数が増加傾向である場合には、右上を向く矢印が表示される。また、心拍数が減少傾向である場合には、右下を向く矢印が表示される。なお、心拍数の変化傾向を示す表示は、矢印ではなく、文字や矢印以外の記号であっても良い。
心拍数変化表示22により、ユーザUは、体感的な心拍数との違いを容易に認識することができる。例えば、ユーザUが運動(軽い負荷の運動でも良い)しているにも関わらず、心拍数変化表示22として心拍数が略変化していない表示である右横を向く矢印や心拍数が減少傾向である表示である右下を向く矢印が表示されると、ユーザUは違和感を覚える。本実施の形態では、かかる場合を考慮して、ユーザUの体感に即して、計測された心拍に関するデータをリアルタイムに修正できるようにしている。
例えば、現在の計測結果に違和感を覚えたユーザUは、心拍数変化表示22をタップする。タップ操作に応じて、表示部12の表示内容が図4Aに示す画面から図4Bに示す画面に遷移し、表示部12に修正情報23が表示される。本例における修正情報23は、例えば、計測中に表示されていた心拍数変化表示22と異なる変化傾向に対応する心拍数変化表示である。修正情報23は、時系列バイタルセンシングデータの変化傾向を示す情報であり、増加、減少、変化なしの少なくとも2つを含む。図4Aに示したように、本例では、計測中には右横を向く矢印が表示されおり、それに対してユーザUが違和感を覚えたことから、修正情報23として「(右上を向く矢印),増加中」及び「(右下を向く矢印),減少中」が表示される。ユーザUは、自身の体感として、心拍数が増加していると感じているのであれば、修正情報23における「(右上を向く矢印),増加中」をタップする。また、ユーザUは、自身の体感として、心拍数が減少していると感じているのであれば、修正情報23における「(右下を向く矢印),減少中」をタップする。本例では、タップ操作に応じて、心拍を取得するための設定が変更される。
図5及び図6のフローチャートを参照して、第1の例で行われる処理の流れについて説明する。図5は、心拍数変化表示22を表示する処理の流れを示すフローチャートであり、主に上述したステップST1の処理の内容を具体化したものである。
処理が開始された後、ステップST111では、計測された心拍数が前回から変化しているか否かが判断される。ここで、心拍数が前回から変化していない場合には、処理がステップST112に進む。ステップST112では、表示部12に心拍数変化表示22として「右横を向く矢印」が表示される。そして、処理が終了する。ステップST111の判断処理で、計測された心拍数が前回から変化している場合は、処理がステップST113に進む。
ステップST113では、心拍数が前回の値より大きいか否かが判断される。ここで、心拍数が前回の値より大きくない場合、換言すれば、心拍数が前回の値より小さい場合には、処理がステップST114に進む。ステップST114では、心拍数が減少傾向であることから心拍数変化表示22として右下を向く矢印が表示される。そして、処理が終了する。ステップST113の判断処理で、心拍数が前回の値より大きい場合には、処理がステップST115に進む。ステップST115では、心拍数が増加傾向であることから心拍数変化表示22として右上を向く矢印が表示される。そして、処理が終了する。
なお、例えば、心拍数が3bpm以内の変化であれば変化なし等、心拍数の変化なし、増加傾向、減少傾向等に関する判断基準は、適宜、設定可能である。
図6は、修正情報を表示し、修正情報に対する操作に応じて行われる処理の流れを示すフローチャートである。本例では、修正情報に対する操作がなされると心拍を計測するための設定が変更される。従って、図6に示すフローチャートは、全体の処理のステップST2、ST6、ST7の内容を具体化したものである。
処理が開始された後、ステップST121では、心拍数変化表示22がタップされたか否かが判断される。心拍数変化表示22がタップされていない場合には、処理がステップST121に戻り、ステップST121の判断処理が繰り返される。心拍数変化表示22がタップされた場合には、処理がステップST122に進む。
ステップST122では、修正情報23(図4B参照)が表示部12に表示される。そして、処理がステップST123に進む。
ステップST123では、ユーザUによる修正情報に対する操作の内容が判断される。例えば、ユーザUにより増加方向のアイコン(右上に向く矢印)がタップされたか否かが判断される。右上に向く矢印がタップされた場合には、処理がステップST124に進む。
ステップST124では、制御部11、具体的には修正部11aが心拍を検出するための閾値を下げる制御を行う。そして、処理が終了する。
ステップST123の処理で右上に向く矢印がタップされずに、減少方向のアイコン(右下に向く矢印)がタップされた場合には、処理がステップST125に進む。ステップST125では、修正部11aが心拍を検出するための閾値を上げる制御を行う。そして、処理が終了する。
図7Aに示すように、心電図(ECG)の波形に対して心拍を検出するための閾値(図7Aに示す例では、0.2V)が設定されている。心拍を検出する方法としては、脈波を使用する方法がある。この方法でも、図7Bに示すように、脈波に対する閾値が設定されている(図7Bに示す例では、0.2V)。閾値以上の電圧が検出された箇所が心拍とされる。修正情報23の右上に向く矢印がタップされるということは、ユーザUが体感的にもっと心拍数が増加しているということを意味する。従って、上述したように、右上に向く矢印がタップされる操作に応じて、閾値が下げられ、心拍が検出され易くされる。一方で、修正情報23の右下に向く矢印がタップされるということは、ユーザUが体感的にもっと心拍数が減少しているということを意味する。従って、上述したように、右下に向く矢印がタップされる操作に応じて、閾値が上げられ、心拍が検出されづらくされる。どの程度、閾値を変化させるかは適宜、変更可能である。増加方向のアイコン又は減少方向のアイコンが複数、タップされた操作に応じて、閾値が段階的に変更されるようにしても良い。変更後の閾値に基づいて心拍が計測され、計測された心拍を使用して計測結果の修正がなされる。
なお、図示は省略しているが、設定が変更された後に計測された心拍数等のデータがメモリ16に記憶される。設定が変更される前の心拍数は記憶されても良いし、破棄されても良い。設定の変更前及び変更後の境界がわかるようにして、心拍数の変化が記憶されても良い。
第1の例を利用できるユーザUとしては、心拍数の増加/減少を自分で認識することができるユーザが想定される。なお、上述した説明では、修正情報23に対する操作に応じて心拍を検出する閾値を変更するようにしたが、心拍を検出するためのアルゴリズムを変更するようにしても良いし、心拍を検出するための電気回路の設定(例えば、フィルタ係数)を変更するようにしても良い。
(第2の例)
第2の例は、ウェアラブル機器1の制御部11がユーザの状況を推定し、推定結果に基づく推定状況アイコンを表示する。ユーザUは、表示された推定状況アイコンに対して体感的に違和感を覚えた場合に、他の推定状況アイコンをタップする。かかる操作に応じて、心拍を計測するための設定が変更される。
第2の例は、ウェアラブル機器1の制御部11がユーザの状況を推定し、推定結果に基づく推定状況アイコンを表示する。ユーザUは、表示された推定状況アイコンに対して体感的に違和感を覚えた場合に、他の推定状況アイコンをタップする。かかる操作に応じて、心拍を計測するための設定が変更される。
図8は、本例における推定状況の一例を説明するための図である。本例では、推定状況として「運動」、「緊張/興奮」、「リラックス」が設定されている。各推定状況には、推定状況に対応するアイコン(推定状況アイコン)、心拍数及び計測難易度の特性、検出モード(心拍数を計測するための設定)が対応付けられている。検出モードには、ハードウエア的な設定(例えば、バンド長)及びソフトウエア的な設定の少なくとも一方が含まれる。
推定状況「運動」は、心拍数が高くなり、体の動きを伴うことから、心拍を計測する難易度は高くなる。そこで、推定状況「運動」に対応する検出モードとしては、バンド長を手首外周より0.5cm~1cm程度短くしてきつめにする。また、体の動きによる計測への影響を少なくするために体動除去アルゴリズム等が適用される。また、心拍数が高くなるので、心拍を取得する頻度が多くされる。
推定状況「緊張/興奮」は、心拍数が高くなるものの、体の動きが少ないことから、心拍を計測する難易度は低くなる。そこで、推定状況「緊張/興奮」に対応する検出モードとしては、バンド長を手首外周程度にする。
推定状況「リラックス」は、心拍数が低くなり、体の動きが少ないことから、心拍を計測する難易度は低くなる。そこで、推定状況「リラックス」に対応する検出モードとしては、バンド長を手首外周より+0.5cm~1cm程度長くして緩めにする。また、心拍数が低くなるので、心拍を取得する頻度が少なくされる。
図9A~図9Cを参照して、第2の例における処理を概略的に説明する。図9Aは、心拍を計測している間の表示例を示す図である。表示部12には、心拍数を示す心拍数表示31(図示の例では86bpm)が表示されている。また、表示部12には、推定状況アイコン32が表示されている。ここで、例えば、ユーザUが、自身が運動しているのに、心拍数があがっておらず推定状況アイコン32の内容に違和感を覚えた場合には、ウェアラブル機器1により判定された推定状況が間違っているものと判断し、推定状況を修正する。
例えば、ユーザUは、推定状況アイコン32の箇所をタップする。すると、表示部12の表示内容が図9Aから図9Bに示す内容に遷移する。図9Bに示すように、表示部12には、修正情報33として3個の全ての推定状況アイコンが表示される。ユーザUは、例えば、推定状況「運動」の推定状況アイコンをタップする。すると、心拍を取得するための設定が推定状況「運動」に対応する検出モードに切り替わる。切り替わり後の検出モードにより計測された心拍数(図示の例では121bpm)により心拍数が修正され、修正後の心拍数が心拍数表示31として表示される。また、推定状況アイコン32が推定状況「運動」に対応するアイコンに切り替わる。以上のようにして、ユーザUは、自身の体感に合うように推定状況を変更し、体感に沿った検出モードで計測された心拍数を表示することができる。また、心拍数を直接、修正するのではなく直感的な操作を可能とした推定状況アイコンを使用することにより、専門的な知識を有しないユーザUであっても心拍を検出するモードを容易に変更することができる。
なお、バンド長の変更は、例えば、制御部11の制御によりアクチュエータ15が駆動されることで行われても良いし、バンド長の内部に空気やガス等の気体を封入することにより行われても良いし、その他、公知の方法により行われても良い。
図10及び図11のフローチャートを参照して、第2の例で行われる処理の流れについて説明する。図10は、推定状況アイコン及び修正情報を表示する処理の流れを示すフローチャートであり、主に上述したステップST1、ST2の処理の内容を具体化したものである。
処理が開始された後、ステップST211では、センサ14により加速度及びユーザUの心拍が計測される。そして処理がステップST212に進む。
ステップST212では、センサ14により取得された加速度が閾値と比較され、ユーザUの体の動きの有無が判断される。加速度が閾値より大きい場合には、処理がステップST213に進む。加速度が閾値より大きいことから、ユーザUの体の動きが有ると判断される。従って、ステップST213では、推定状況が「運動」と判定される。そして、処理がステップST214に進む。
ステップST214では、判定された推定状況に対応する推定状況アイコン32が表示される(図9A参照)。なお、本例では、推定状況アイコン32と共に心拍数表示31も表示される。そして、処理がステップST215に進む。
ステップST215では、推定状況アイコン32がタップされたか否かが判断される。推定状況アイコン32がタップされていない場合には、処理がステップST215に戻る。推定状況アイコン32がタップされた場合には、処理がステップST216に進む。
ステップST216では、推定状況アイコン32がタップされたことから表示部12に修正情報33が表示される(図9B参照)。そして、処理が終了する。
ステップST212の判断処理において、加速度が閾値以下である場合には、処理がステップST217に進む。ステップST217では、センサ14により計測された心拍と心拍用の閾値とが比較される。比較の結果、心拍が閾値より大きい場合には、処理がステップST218に進む。
ステップST218では、ユーザの体の動きが少なく、且つ、心拍が高いことから、推定状況が「緊張/興奮」と判定される。そして、処理がステップST214に進む。ステップST214以降の処理については既に説明しているため、重複した説明を省略する。
ステップST217の判断処理において、心拍が閾値以下である場合には、処理がステップST219に進む。ステップST219では、ユーザの体の動きが少なく、且つ、心拍が低いことから、推定状況が「リラックス」と判定される。そして、処理がステップST214に進む。ステップST214以降の処理については既に説明しているため、重複した説明を省略する。
図11A~図11Cは、修正情報(修正情報33)に対する操作に応じて行われる処理の流れを示すフローチャートである。本例では、修正情報に対する操作がなされると心拍を計測するための設定(検出モード)が変更される。従って、図11A~図11Cに示すフローチャートの処理は、主に上述したステップST6、ST7の処理の内容を具体化したものである。
図11Aに示すフローチャートにおいて処理が開始された後、ステップST221では、修正情報33における「運動」の推定状況アイコンがタップされる。そして、処理がステップST222に進む。
ステップST222では、ステップST221の操作に応じて、修正部11aが、心拍を検出する検出モードを推定状況「運動」に対応する検出モードに変更する。変更後の検出モードに応じて心拍が計測される。そして、処理が終了する。
図11Bに示すフローチャートにおいて処理が開始された後、ステップST225では、修正情報33における「緊張/興奮」の推定状況アイコンがタップされる。そして、処理がステップST226に進む。
ステップST226では、ステップST225の操作に応じて、修正部11aが、心拍を検出する検出モードを推定状況「緊張/興奮」に対応する検出モードに変更する。変更後の検出モードに応じて心拍が計測される。そして、処理が終了する。
図11Cに示すフローチャートにおいて処理が開始された後、ステップST228では、修正情報33における「リラックス」の推定状況アイコンがタップされる。そして、処理がステップST229に進む。
ステップST229では、ステップST226の操作に応じて、修正部11aが、心拍を検出する検出モードを推定状況「リラックス」に対応する検出モードに変更する。変更後の検出モードに応じて心拍が計測される。そして、処理が終了する。
第2の例を利用できるユーザUとしては、運動中又は交感神経優位時は心拍数が高く、リラックス時は心拍数が低くなる、程度の知識があるユーザが想定される。なお、推定状況は、上述した説明における3個の推定状況に限定されることはなく、他の推定状況が設定されていても良い。推定状況のアイコンや検出モードの内容をユーザUがカスタマイズできるようにしても良い。
(第3の例)
次に、第3の例について説明する。第3の例は、センサ14により取得される心拍に関するデータ(脈波や心電図)に、何らかの原因により欠落等が生じた場合に、心拍に関するデータをユーザUが直接的に修正できる例である。即ち、時系列バイタルセンシングデータそのものを修正可能とする例である。なお、修正は、ユーザUによる操作だけに限定されることはなく、自動で行われて良いし、手動又は自動による修正をユーザUが選択できるようにしても良い。
次に、第3の例について説明する。第3の例は、センサ14により取得される心拍に関するデータ(脈波や心電図)に、何らかの原因により欠落等が生じた場合に、心拍に関するデータをユーザUが直接的に修正できる例である。即ち、時系列バイタルセンシングデータそのものを修正可能とする例である。なお、修正は、ユーザUによる操作だけに限定されることはなく、自動で行われて良いし、手動又は自動による修正をユーザUが選択できるようにしても良い。
図12のフローチャートを参照して、第3の例で行われる処理の流れについて説明する。図12は、修正情報の一例である修正アラートをユーザUに提示する例であり、主に上述したステップST1、ST2の処理の内容を具体化したものである。
ステップST311では、センサ14により心拍の波形(脈波/心電図)が時系列に取得され、取得された波形(以下、ユーザ波形と適宜、称する)が表示部12に表示される。そして、処理がST312に進む。
ステップST312では、ユーザ波形と一般に正常とされる形の正常波形(所定のパターンの一例)とのマッチングをとる処理が行われる。マッチング処理は、相互相関を判断する等、公知の処理を適用することができる。マッチングの結果、ユーザ波形と正常波形との差分が一定の範囲内であれば、ユーザ波形と正常波形とがマッチ(適合)すると判定され、処理がステップST311に戻る。マッチングの結果、ユーザ波形と正常波形との差分が一定以上であれば、処理がステップST313に進む。なお、本例では、ユーザ波形と正常波形との差分が一定以上である場合とは、身体的な異常ではなく、ウェアラブル機器1に対する衝撃等の何らかの原因により、ユーザ波形の一部に欠落若しくは明らかな異常が発生した場合を想定している。
ステップST313では、ユーザ波形と正常波形とがマッチしない区間(以下、異常区間と適宜、称する)が検出される。そして、処理がステップST314に進む。
ステップST314では、異常区間前後の正常波形として、過去に類似した波形がメモリ16に存在するか否かが判断される。異常区間前後の正常波形として、過去に類似した波形がメモリ16に存在する場合には、処理がステップST315に進む。
ステップST315では、メモリ16に記憶されているログ(過去の波形)を利用して、異常区間における波形が過去の正常な波形により補間される。そして、処理が終了する。
ステップST314の判断処理において、異常区間前後の正常波形として、過去に類似した波形がメモリ16に存在しない場合には、処理がステップST316に進む。ステップST316では、修正情報の一例である修正アラートがユーザUに対して提示される。
修正アラートは、正常な時系列バイタルセンシングデータが取得できていない区間が存在することをユーザUに気づかせる情報であり、例えば、異常区間のハイライト表示、異常区間が検出されたことを示す警告音や振動等である。そして、処理が終了する。
図13は、修正情報(修正アラート)に対する操作に応じて行われる処理の流れを示すフローチャートである。本例では、修正情報に対する操作がなされると心拍の波形そのものが修正される。従って、図13のフローチャートで示される処理は、主に上述したステップST3、ST4の処理の内容を具体化したものである。
処理が開始された後、ステップST321では、例えば、手書きによるユーザ波形の修正が行われる。図14Aに示すように、異常区間における波形が、スタイラスペン、マウス、指によるタッチ操作等の適宜な方法により、図14Bに模式的に示すように修正される。そして、処理がステップST322に進む。
ステップST322では、修正されたユーザ波形がメモリ16やクラウド上のデータベースに記憶される。そして、処理が終了する。
第3の例を利用できるユーザUとしては、脈波/心電図の概形や意味に関してある程度の知識があるユーザを想定している。ウェアラブル機器1のユーザが医師や看護師等の場合には、ユーザ波形に欠落した箇所があったとしても、リアルタイムに波形を修正することができる。
なお、ユーザ波形の修正操作は、ウェアラブル機器1で行われても良いし、ウェアラブル機器1とは異なる機器で行われても良い。例えば、パーソナルコンピュータやタブレット型のコンピュータ等に対してユーザ波形をリアルタイムに送信し、パーソナルコンピュータ等にユーザ波形を表示する。そして、パーソナルコンピュータ等に表示されたユーザ波形に対して修正操作が行われても良い。時系列バイタルセンシングデータそのものを修正する入力は、音声入力等であっても良い。
また、修正がなされたユーザ波形の箇所を教師データとして、制御部11が機械学習を行うようにしても良い。そして、上述したステップST315の処理で機械学習の結果が適用されても良い。機械学習の結果を適用することにより、以降、同じようなノイズによりユーザ波形が欠落した場合であっても、ユーザ波形を自動且つ適切に修正することができる。また、上述したユーザ波形と正常波形とのマッチングをとる処理は、波形毎に行われても良いし、複数の波形を単位として行われても良い。
(第4の例)
次に、第4の例について説明する。時系列バイタルセンシングデータを適切に取得するためには、ウェアラブル機器1、具体的には、時系列バイタルセンシングデータを取得するセンサ14が適切な計測位置にあることが必要である。この必要性に鑑み、第4の例は、センサ14の位置が適切な計測位置からずれた際に、修正情報を提示し、修正情報に対する操作に応じてセンサ14の位置が適切な計測位置に修正されることで、時系列バイタルセンシングデータが修正されるようにした例である。即ち、第4の例は、修正情報に対する操作に応じて、時系列バイタルセンシングデータを取得するためのハードウエア的な設定(物理的な設定)が変更される例である。
次に、第4の例について説明する。時系列バイタルセンシングデータを適切に取得するためには、ウェアラブル機器1、具体的には、時系列バイタルセンシングデータを取得するセンサ14が適切な計測位置にあることが必要である。この必要性に鑑み、第4の例は、センサ14の位置が適切な計測位置からずれた際に、修正情報を提示し、修正情報に対する操作に応じてセンサ14の位置が適切な計測位置に修正されることで、時系列バイタルセンシングデータが修正されるようにした例である。即ち、第4の例は、修正情報に対する操作に応じて、時系列バイタルセンシングデータを取得するためのハードウエア的な設定(物理的な設定)が変更される例である。
本例では、ウェアラブル機器1の適切な計測位置が予めインプットされる。例えば、図15に示すように、手首付近に装着されたウェアラブル機器1の適切な計測位置(以下、計測位置PAと適宜、称する)がインプットされる。計測位置をインプットするためには、計測位置PAの位置情報を取得する必要がある。本例では、ウェアラブル機器1の本体部2の側面(バンド部3の延在方向と平行な面)にイメージセンサを設ける。そして、図15の矢印AAで示す方向(手の甲の側)を撮影する。そして、手の甲の出っ張りなどに対して特徴点(ユーザの特徴に関する情報の一例)を設定する。特徴点までの距離を、デプスカメラ、ToF(Time of Flight)センサ等を使用して測定する。得られた特徴点までの距離を、計測位置PAの位置情報として設定する。なお、予め設定された計測位置PAは、後から変更することも可能である。
ユーザの特徴に関する情報に基づいて、センサの位置に関する設定が変更される。例えば、図16に示すように、ウェアラブル機器1の使用に伴い、ウェアラブル機器1の計測位置が計測位置PAから計測位置PBにΔPだけ変化したとする。変化ΔPが一定以上の場合には、正確に心拍を計測することができない位置にウェアラブル機器1があると判定され、修正情報として設定変更アラートがユーザUに提示される。
図17のフローチャートを参照して、第4の例で行われる処理の流れについて説明する。図17は、修正情報の一例である設定変更アラートをユーザUに提示する例であり、主に上述したステップST1、ST2の処理の内容を具体化したものである。
処理が開始された後、ステップST411では、適切な位置(本例では、計測位置PA)にウェアラブル機器1が装着される。そして、処理がステップST412に進む。
ステップST412では、計測位置PAにあるウェアラブル機器1のセンサ14により心拍が計測される。そして、処理がステップST413に進む。
ステップST413では、ユーザUやウェアラブル機器1自体の動きにより、ウェアラブル機器1の位置が計測位置PAからずれていく。そして、処理がステップST414に進む。
ステップST414では、ウェアラブル機器1のカメラにより取得された画像に基づいて、位置の変化の前後における特徴点までの距離のずれΔPが検出される。そして、処理がステップST415に進む。
ステップST415では、ずれΔPが所定の閾値より大きいが否かが判断される。ずれΔPが閾値以下である場合には、処理がステップST412に戻る。ずれΔPが閾値より大きい場合には、処理がステップST416に進む。
ステップST416では、修正情報の一例である設定変更アラートがユーザUに提示される。設定変更アラートは、「ウェアラブル機器の位置が適切な位置からずれています」等の表示や音声、振動等によりユーザUに提示される。そして、処理が終了する。
図18A及び図18Bは、修正情報(設定変更アラート)に対する操作(例えば、修正ボタンをタップする操作や音声入力)に応じて行われる処理の流れを示すフローチャートである。図18A及び図18Bに示す処理は、主に全体の処理におけるステップST7の処理を具体化した処理である。図18Aは、設定変更アラートに対する操作に応じて、ウェアラブル機器1(センサ14)の計測位置が計測位置PAに自動で修正される処理の流れを示すフローチャートである。
ステップST421では、現在のウェアラブル機器1の位置から計測位置PAまでの距離が算出される。算出された距離が、ウェアラブル機器1の計測位置を計測位置PAに修正するための移動距離である。そして、処理がステップST422に進む。
ステップST422では、設定変更アラートに対するトリガ(所定の入力)に応じて、ウェアラブル機器1が計測位置PAまで移動される。そして、処理がステップST423に進む。
ステップST423では、バンド部3が締められ、ウェアラブル機器1が計測位置PAで再装着される。
ステップST422、ST423の具体例について説明する。例えば、バンド部3内に空気やガスを注入、排出可能とすることにより、バンド部3のバンド長(締め付けの度合い)を変更できるようにする。また、ウェアラブル機器1の両側の側面に空気やガスの排出孔を設ける。ウェアラブル機器1にかかる構成を設けた上で、以下に示すようにしてウェアラブル機器1の計測位置を変更する。始めに、バンド部3内の空気量を調整してバンド部3を緩める。そして、計測位置PAに向かう方向にウェアラブル機器1が移動するように、ウェアラブル機器1の側面から空気を瞬発的に吐出する。空気の吐出は、ウェアラブル機器1が計測位置PAに到達するまで繰り返される。ウェアラブル機器1が計測位置PAに到達した段階で空気の吐出が停止され、バンド部3内の空気量が調節されることにより、バンド部3が適度に締め付けられる。ウェアラブル機器1が計測位置PAに移動するので、センサ14が適切な位置で心拍を計測することができ、適切な位置で計測された心拍に基づいて修正を行うことができる。
なお、空気の吐出ではなく、自然な腕振りに合わせてウェアラブル機器1を計測位置PAに移動させるようにしても良い。例えば、バンド部3を緩めた後、腕振り等のユーザUの動きを利用してウェアラブル機器1を移動させる。ウェアラブル機器1が計測位置PAであるか否かは、ウェアラブル機器1の移動中にも適宜な間隔で判断される。ウェアラブル機器1が計測位置PAに移動したら、バンド部3が適度に締め付けられ、ウェアラブル機器1が計測位置PAに修正される。センサ14の構成要素として加速度センサを適用し、加速度センサにより腕が下向きになったことが検出されたことに応じて、バンド部3が緩められ、ウェアラブル機器1が移動されるようにしても良い。
また、レール機構を設け、当該レール機構をウェアラブル機器1が心拍を計測できる状態のままスライド可能とした構成が採用されても良い。レール機構は、ユーザUの腕(例えば、肘から手首付近にかけての位置)に装着される。ウェアラブル機器1が計測位置PAからずれた場合にウェアラブル機器1をレール機構上で移動させ、計測位置PAに戻す制御が行われても良い。
図18Bは、設定変更アラートに対する操作に応じて、ウェアラブル機器1(具体的にはセンサ14)の計測位置が計測位置PAに手動で修正される処理の流れを示すフローチャートである。
処理が開始された後、ステップST425では、ユーザUが自身でバンド部3を緩める。そして、ユーザUにより、ウェアラブル機器1が計測位置PAまで手動で移動される。ウェアラブル機器1が計測位置PAまで移動したことがユーザUに報知されても良い。そして、処理がステップST426に進む。
ステップST426では、ユーザUによりバンド部3が締められ、ウェアラブル機器1の位置が計測位置PAに修正される。
なお、上述した説明では、ウェアラブル機器1の腕方向に生じる位置ずれが修正される例について説明したが、腕の方向に直交する方向に生じる位置ずれが自動又は手動で修正されるようにしても良い。また、特徴点は、腕側を撮影することにより得られる情報(例えば、静脈の分岐点や汗腺の位置)であっても良い。
(第5の例)
次に、第5の例について説明する。第5の例では、心拍を数値等ではなく、拍動(鼓動)音(心拍に対応した音で、例えば、「ドッ、ドッ・・」のような音)でユーザUにフィードバックする。そして、拍動音と共に修正情報を表示する。拍動音に対して、ユーザUが体感的に違和感を覚えた場合には、修正情報に対する操作を行い、ユーザUが拍動音を入力する。修正情報に対する操作は、時系列バイタルセンシングデータに基づいて音声を入力する操作、時系列データバイタルセンシングデータに基づいてタップする操作の少なくとも1つを含む。なお、音だけでなく、光や映像、振動及びこれらを組み合わせたものにより拍動がユーザに対して提示されても良い。
次に、第5の例について説明する。第5の例では、心拍を数値等ではなく、拍動(鼓動)音(心拍に対応した音で、例えば、「ドッ、ドッ・・」のような音)でユーザUにフィードバックする。そして、拍動音と共に修正情報を表示する。拍動音に対して、ユーザUが体感的に違和感を覚えた場合には、修正情報に対する操作を行い、ユーザUが拍動音を入力する。修正情報に対する操作は、時系列バイタルセンシングデータに基づいて音声を入力する操作、時系列データバイタルセンシングデータに基づいてタップする操作の少なくとも1つを含む。なお、音だけでなく、光や映像、振動及びこれらを組み合わせたものにより拍動がユーザに対して提示されても良い。
図19は、本例において、修正情報を提示し、当該修正情報に対する操作に応じて行われる処理の流れを示すフローチャートである。本例では、修正情報に対する操作がなされると心拍数そのものが修正される。従って、図19のフローチャートで示される処理は、主に上述したステップST1~ST4の処理の内容を具体化したものである。
処理が開始された後、ステップST511では、センサ14により心拍が計測される。そして、処理がステップST512に進む。
ステップST512では、計測された心拍に同期した音(拍動音)が再生される。なお、上述したように、心拍に合わせた点滅や振動、これらを組み合わせたものにより心拍がユーザUに提示されても良い。そして、処理がステップST513に進む。
ステップST513では、修正情報が表示される。図20は、本例における修正情報の一例を示す図である。本例における修正情報は、例えば、マイクを模したアイコン51及び表示部12に対するタップ操作を模したアイコン52を並べて表示したものである。ユーザUは、自ら感じている拍動音を、アイコン51及びアイコン52により示される好みの入力方法により、入力することができる。そして、処理がステップST514に進む。
ステップST514では、修正情報がタップされたか否かが判断される。修正情報がタップされていない場合は、ステップST514の処理が繰り返される。修正情報がタップされた場合は、処理がステップST515に進む。
ステップST515では、ユーザUが現在感じている拍動を音声又はタップ操作により入力する。例えば、ユーザUは、修正情報におけるアイコン51をタップした場合には、「ドッ、ドッ・・」のように、自らが感じている拍動に合わせて発声する。また、ユーザUは、修正情報におけるアイコン52をタップした場合には、自らが感じている拍動に合わせて表示部12をタップする。そして、処理がステップST516に進む。
ステップST516では、ユーザUによる、音声又はタップ操作による入力に基づいて心拍数が算出され、算出された心拍数により計測結果が修正される。算出された心拍数がメモリ16等に記憶される。算出された心拍数に基づく拍動音等が再生されるようにしても良い。このようにして、ユーザUは、計測された拍動音に違和感を覚えた場合には、リアルタイムに修正を行うことができる。
(第6の例)
第6の例は、計測された心拍にユーザUが違和感を覚えた場合に、異なる心拍の計測方法により改めて心拍を計測することにより修正を行い、修正後の心拍を保存等する例である。本例では、全体のフローにおけるステップST1において、光学的な計測方法に心拍が計測されたものとして説明を行う。
第6の例は、計測された心拍にユーザUが違和感を覚えた場合に、異なる心拍の計測方法により改めて心拍を計測することにより修正を行い、修正後の心拍を保存等する例である。本例では、全体のフローにおけるステップST1において、光学的な計測方法に心拍が計測されたものとして説明を行う。
図21は、本例において、修正情報を提示し、当該修正情報に対する操作に応じて行われる処理の流れを示すフローチャートである。本例では、修正情報に対する操作がなされると心拍数そのものが修正される。従って、図21のフローチャートで示される処理は、主に上述したステップST2~ST4の処理の内容を具体化したものである。
処理が開始された後、ステップST611では、修正情報が表示部12に表示される。本例における修正情報は、特定のものに限定されるものではないが、心拍を自動又は手動でリアルタイムに修正するための情報(例えば、アイコン)である。従って、本例における修正情報は、少なくとも、自動で心拍を修正するか若しくは手動で心拍を修正するかを選択できる情報である。上述した例と同じように、ユーザUは、心拍の計測結果に違和感を覚えた場合に、修正情報に対する操作を行う。そして、処理がステップST612に進む。
ステップST612では、修正情報に対する操作が自動で修正する選択であるか否かが判断される。自動で修正する選択である場合には、処理がステップST613に進む。
ステップST613では、バンド部3を締める制御が行われる。例えば、バンド部3内に空気やガスを封入し、バンド部3の厚みが大きくされる。そして、処理がステップST614に進む。
ステップST614では、光学的な方法による心拍の計測方法とは異なる計測方法により、心拍が計測される。例えば、バンド部3の厚みを大きくし、手首式血圧計と同じ原理により心拍数が計測される。そして、処理がステップST615に進む。
ステップST615では、ステップST614で測定された心拍数の値が表示部12に表示される。心拍数がメモリ16等に記憶されても良い。ステップST614で計測された心拍数が計測結果に適用され、計測結果が修正される。そして、処理が終了する。
ステップST612の判断処理において、修正情報に対する操作が手動で修正する選択である場合には、処理がステップST616に進む。ステップST616では、ユーザU自らが心拍を計測する。例えば、ユーザUが触診で心拍数を計測する。そして、処理がステップST617に進む。
ステップST617では、ユーザUが、計測結果である心拍数をウェアラブル機器1に入力する。そして、処理がステップST618に進む。
ステップST618では、ユーザUによって入力された心拍数が表示部12に表示される。心拍数がメモリ16等に記憶されても良い。ステップST617で入力された心拍数が計測結果に適用され、計測結果が修正される。そして、処理が終了する。
本例によれば、ユーザUが計測結果に違和感を覚えた場合に、より精度の高い方法(触診で直接的に心拍を計測する方法やオシロメトリック法等)により心拍を計測し、計測後の心拍を使用した修正を行うことができる。
[実施の形態により得られる効果]
以上説明した本実施の形態によれば、例えば、下記の効果を得ることができる。
一般に、時系列バイタルセンシングデータはノイズの影響を受けやすく、データが低品質に陥りやすい。このため、時系列バイタルセンシングデータの計測結果に対して、ユーザが自らの主観と異なる傾向であり、違和感を覚えることがあった。しかしながら、本実施の形態によれば、修正情報を提示することにより、ユーザの現在の主観に基づいた高精度な時系列バイタルセンシングデータの修正をリアルタイムに行うことができる。また、修正結果を表示、音声により報知することができる。また、修正結果を記憶することができる。また、修正結果を外部機器に出力し、健康管理等に利用することができる。
また、本実施の形態によれば、ソフトウエアだけでなくハードウエアの面(例えば、ウェアラブル機器の位置やバンド長)からも、時系列バイタルセンシングデータを取得するための設定を修正することができる。
修正情報として数値の表示だけでなく、アイコンの表示や通知等を利用することにより、ユーザが時系列バイタルセンシングデータを修正できることを気付きやすくすることができる。
心拍、消費カロリーなどを目安にワークアウトに取り組んでいる人にとって、目安にしている指標が間違っていると期待通りのワークアウト成果が得られない。しかしながら、本例によれば、リアルタイムに体感に沿うように時系列バイタルセンシングデータに関する修正を行うことができるので、ユーザの状況に適合した正しい指標を得ることができる。
以上説明した本実施の形態によれば、例えば、下記の効果を得ることができる。
一般に、時系列バイタルセンシングデータはノイズの影響を受けやすく、データが低品質に陥りやすい。このため、時系列バイタルセンシングデータの計測結果に対して、ユーザが自らの主観と異なる傾向であり、違和感を覚えることがあった。しかしながら、本実施の形態によれば、修正情報を提示することにより、ユーザの現在の主観に基づいた高精度な時系列バイタルセンシングデータの修正をリアルタイムに行うことができる。また、修正結果を表示、音声により報知することができる。また、修正結果を記憶することができる。また、修正結果を外部機器に出力し、健康管理等に利用することができる。
また、本実施の形態によれば、ソフトウエアだけでなくハードウエアの面(例えば、ウェアラブル機器の位置やバンド長)からも、時系列バイタルセンシングデータを取得するための設定を修正することができる。
修正情報として数値の表示だけでなく、アイコンの表示や通知等を利用することにより、ユーザが時系列バイタルセンシングデータを修正できることを気付きやすくすることができる。
心拍、消費カロリーなどを目安にワークアウトに取り組んでいる人にとって、目安にしている指標が間違っていると期待通りのワークアウト成果が得られない。しかしながら、本例によれば、リアルタイムに体感に沿うように時系列バイタルセンシングデータに関する修正を行うことができるので、ユーザの状況に適合した正しい指標を得ることができる。
<変形例>
以上、本開示の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
以上、本開示の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
上述した実施の形態では、時系列バイタルセンシングデータに関する修正をリアルタイムに行うことができる反面、ユーザが不適切な修正を行ってしまう虞がある。そこで、このような不適切な修正に対する対策がなされても良い。
例えば、ユーザによる修正のログ(修正前/後の値)(履歴情報の一例)をメモリに残しておき、所定のサーバに送信する。サーバに送信された修正のログを医者等の専門家が診断し、修正のログが適切な修正であるか否かが医者により判断される。医者の判断を教師データとして修正ログに対する可否の判断が機械学習される。そして、学習の結果を利用して、以降、修正のログに対する可否の判断が自動的に行われる。修正のログが不適切な場合には、その旨がユーザに通知されても良い。ユーザの履歴情報に基づいて、時系列バイタルセンシングデータが修正されても良い。
また、修正可能な範囲が設定され、当該範囲外の修正をウェアラブル機器が受け付けないようにしても良い。例えば、心拍の例では、(40~(220-年齢)bpm)を超える修正が受け付けられないようにしても良い。また、ウェアラブル機器1が出力した値を信頼度100%として、出力値から適正範囲までの信頼度を算出し、信頼度が閾値を下回ったら修正を受け付けないようにしても良い。
図22を参照して具体例について説明する。例えば、ウェアラブル機器からの心拍数の出力値が60bpmとし、それに対してユーザが45bpmに修正しようとしている。図22に示すように、出力値から適正範囲までの信頼度を直線でつなぎ、信頼度の閾値を50%とする。45bpmは信頼度50%を下回っているため、修正できないことになる。なお、図22において、端点と出力値との間は、直線によりつながれていても良いし、指数関数的につながれていても良い。この他にも、ウェアラブル機器の位置が修正可能な距離や、元の推定状況が「運動」である場合には「リラックス」への修正が許可されずに「緊張/興奮」への修正のみが許可される等の修正可能な範囲の限定がなされても良い。
その他の変形例について説明する。時系列バイタルセンシングデータは、心拍に関するデータでなく、他の生体情報に関するデータ(例えば、呼吸数に関するデータ)であっても良い。また、体温、VO2MAX、血圧、血糖等に関するデータであっても良い。このようなデータは、ユーザ自ら時系列バイタルセンシングデータを修正することは難しいものの、時系列バイタルセンシングデータを取得するための設定を変更することは可能である。また、修正ではなく、ユーザが計測結果に違和感を覚えた場合に、再計測を行うようにしても良い。例えば、計測値とその尤度(信頼性)を同時に表示し、ユーザが再計測・再計算を望むときに操作可能なUI(User Interface)を用意しておく。ユーザが主観的に計測値に違和感を覚えた場合には、ユーザが再計測ボタンを押すことによりキャリブレーションがなされた上で時系列バイタルセンシングデータの再計測が行われても良い。尤度はそのときのユーザの状況などを推定して算出される。具体的には、運動時はユーザの体の動きがあるため、尤度が低くなる。
上述した第1から第6までの処理例は、それぞれ独立して行われても良いし、技術的な矛盾が生じない範囲で、組み合わせて行われても良い。
ウェアラブル機器は、リストバンド型の機器に限定されることなく、首や足首、頭部、耳等に装着可能な機器でも良い。また、本開示における情報処理装置は、ウェアラブル機器でない機器(例えば、トレーニング施設に置かれる据え置き型の機器)であっても良い。また、本開示における情報処理装置は、他の機器(例えば、ワイヤレス型のイヤホン)と一体化された装置であっても良い。
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。
本開示は、以下の構成も採ることができる。
(1)
センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う制御部を有する情報処理装置。
(2)
前記修正するための情報は、前記時系列バイタルセンシングデータをリアルタイムに修正するための情報である
(1)に記載の情報処理装置。
(3)
前記制御部は、前記修正するための情報として、前記時系列バイタルセンシングデータの変化傾向を示す情報を提示する制御を行う
(1)又は(2)に記載の情報処理装置。
(4)
前記時系列バイタルセンシングデータの変化傾向を示す情報は、増加、減少、変化なしの少なくとも2つを含む
(3)に記載の情報処理装置。
(5)
前記制御部は、前記修正するための情報として、前記時系列バイタルセンシングデータの検出モードが対応付けられたユーザの推定状況を示す情報を提示する制御を行う
(1)に記載の情報処理装置。
(6)
前記ユーザの推定状況を示す情報は、運動、リラックス、緊張、興奮の少なくとも1つを含む
(5)に記載の情報処理装置。
(7)
前記制御部は、前記時系列バイタルセンシングデータを所定のパターンと比較し、比較の結果、前記時系列バイタルセンシングデータと前記パターンとのずれが所定以上の場合に、前記修正するための情報を提示する制御を行う
(1)に記載の情報処理装置。
(8)
前記制御部は、前記修正するための情報として、正常な時系列バイタルセンシングデータが取得できていない区間があることを報知する情報を提示する制御を行う
(7)に記載の情報処理装置。
(9)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータを取得するための設定が変更される
(1)に記載の情報処理装置。
(10)
前記設定は、前記センサの位置に関する設定である
(9)に記載の情報処理装置。
(11)
前記設定は、ユーザの特徴に関する情報に基づいて変更される
(10)に記載の情報処理装置。
(12)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータが修正される
(1)に記載の情報処理装置。
(13)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータに対応する波形が修正される
(12)に記載の情報処理装置。
(14)
前記時系列バイタルセンシングデータの信頼度に応じて、前記修正の変更が可能な範囲が限定される
(12)又は(13)に記載の情報処理装置。
(15)
ユーザの履歴情報に基づいて、前記時系列バイタルセンシングデータを修正する
(12)に記載の情報処理装置。
(16)
前記修正するための情報に対する操作は、前記時系列バイタルセンシングデータの欠落箇所を手動で補間する操作、前記時系列バイタルセンシングデータに基づいて音声を入力する操作、前記時系列バイタルセンシングデータに基づいてタップする操作の少なくとも1つを含む
(12)に記載の情報処理装置。
(17)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータを取得する方法が変更される
(1)に記載の情報処理装置。
(18)
ウェアラブル機器として構成される
(1)から(17)までの何れかに記載の情報処理装置。
(19)
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法。
(20)
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法を、コンピュータに実行させるプログラム。
(1)
センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う制御部を有する情報処理装置。
(2)
前記修正するための情報は、前記時系列バイタルセンシングデータをリアルタイムに修正するための情報である
(1)に記載の情報処理装置。
(3)
前記制御部は、前記修正するための情報として、前記時系列バイタルセンシングデータの変化傾向を示す情報を提示する制御を行う
(1)又は(2)に記載の情報処理装置。
(4)
前記時系列バイタルセンシングデータの変化傾向を示す情報は、増加、減少、変化なしの少なくとも2つを含む
(3)に記載の情報処理装置。
(5)
前記制御部は、前記修正するための情報として、前記時系列バイタルセンシングデータの検出モードが対応付けられたユーザの推定状況を示す情報を提示する制御を行う
(1)に記載の情報処理装置。
(6)
前記ユーザの推定状況を示す情報は、運動、リラックス、緊張、興奮の少なくとも1つを含む
(5)に記載の情報処理装置。
(7)
前記制御部は、前記時系列バイタルセンシングデータを所定のパターンと比較し、比較の結果、前記時系列バイタルセンシングデータと前記パターンとのずれが所定以上の場合に、前記修正するための情報を提示する制御を行う
(1)に記載の情報処理装置。
(8)
前記制御部は、前記修正するための情報として、正常な時系列バイタルセンシングデータが取得できていない区間があることを報知する情報を提示する制御を行う
(7)に記載の情報処理装置。
(9)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータを取得するための設定が変更される
(1)に記載の情報処理装置。
(10)
前記設定は、前記センサの位置に関する設定である
(9)に記載の情報処理装置。
(11)
前記設定は、ユーザの特徴に関する情報に基づいて変更される
(10)に記載の情報処理装置。
(12)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータが修正される
(1)に記載の情報処理装置。
(13)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータに対応する波形が修正される
(12)に記載の情報処理装置。
(14)
前記時系列バイタルセンシングデータの信頼度に応じて、前記修正の変更が可能な範囲が限定される
(12)又は(13)に記載の情報処理装置。
(15)
ユーザの履歴情報に基づいて、前記時系列バイタルセンシングデータを修正する
(12)に記載の情報処理装置。
(16)
前記修正するための情報に対する操作は、前記時系列バイタルセンシングデータの欠落箇所を手動で補間する操作、前記時系列バイタルセンシングデータに基づいて音声を入力する操作、前記時系列バイタルセンシングデータに基づいてタップする操作の少なくとも1つを含む
(12)に記載の情報処理装置。
(17)
前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータを取得する方法が変更される
(1)に記載の情報処理装置。
(18)
ウェアラブル機器として構成される
(1)から(17)までの何れかに記載の情報処理装置。
(19)
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法。
(20)
制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法を、コンピュータに実行させるプログラム。
1・・・ウェアラブル機器、2・・・本体部、3・・・バンド部、11・・・制御部、11a・・・修正部、12・・・・表示部、14・・・センサ
Claims (20)
- センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う制御部を有する情報処理装置。
- 前記修正するための情報は、前記時系列バイタルセンシングデータをリアルタイムに修正するための情報である
請求項1に記載の情報処理装置。 - 前記制御部は、前記修正するための情報として、前記時系列バイタルセンシングデータの変化傾向を示す情報を提示する制御を行う
請求項1に記載の情報処理装置。 - 前記時系列バイタルセンシングデータの変化傾向を示す情報は、増加、減少、変化なしの少なくとも2つを含む
請求項3に記載の情報処理装置。 - 前記制御部は、前記修正するための情報として、前記時系列バイタルセンシングデータの検出モードが対応付けられたユーザの推定状況を示す情報を提示する制御を行う
請求項1に記載の情報処理装置。 - 前記ユーザの推定状況を示す情報は、運動、リラックス、緊張、興奮の少なくとも1つを含む
請求項5に記載の情報処理装置。 - 前記制御部は、前記時系列バイタルセンシングデータを所定のパターンと比較し、比較の結果、前記時系列バイタルセンシングデータと前記パターンとのずれが所定以上の場合に、前記修正するための情報を提示する制御を行う
請求項1に記載の情報処理装置。 - 前記制御部は、前記修正するための情報として、正常な時系列バイタルセンシングデータが取得できていない区間があることを報知する情報を提示する制御を行う
請求項7に記載の情報処理装置。 - 前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータを取得するための設定が変更される
請求項1に記載の情報処理装置。 - 前記設定は、前記センサの位置に関する設定である
請求項9に記載の情報処理装置。 - 前記設定は、ユーザの特徴に関する情報に基づいて変更される
請求項10に記載の情報処理装置。 - 前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータが修正される
請求項1に記載の情報処理装置。 - 前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータに対応する波形が修正される
請求項12に記載の情報処理装置。 - 前記時系列バイタルセンシングデータの信頼度に応じて、前記修正の変更が可能な範囲が限定される
請求項12に記載の情報処理装置。 - ユーザの履歴情報に基づいて、前記時系列バイタルセンシングデータを修正する
請求項12に記載の情報処理装置。 - 前記修正するための情報に対する操作は、前記時系列バイタルセンシングデータの欠落箇所を手動で補間する操作、前記時系列バイタルセンシングデータに基づいて音声を入力する操作、前記時系列バイタルセンシングデータに基づいてタップする操作の少なくとも1つを含む
請求項12に記載の情報処理装置。 - 前記修正するための情報に対する操作に応じて、前記時系列バイタルセンシングデータを取得する方法が変更される
請求項1に記載の情報処理装置。 - ウェアラブル機器として構成される
請求項1に記載の情報処理装置。 - 制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法。
- 制御部が、センサにより取得された時系列バイタルセンシングデータを、修正するための情報を提示する制御を行う情報処理方法を、コンピュータに実行させるプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/424,246 US20220110592A1 (en) | 2019-01-28 | 2019-11-25 | Information processing device, information processing method, and program |
| EP19912259.9A EP3918983A4 (en) | 2019-01-28 | 2019-11-25 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019012053 | 2019-01-28 | ||
| JP2019-012053 | 2019-01-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020158129A1 true WO2020158129A1 (ja) | 2020-08-06 |
Family
ID=71841272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/045966 Ceased WO2020158129A1 (ja) | 2019-01-28 | 2019-11-25 | 情報処理装置、情報処理方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220110592A1 (ja) |
| EP (1) | EP3918983A4 (ja) |
| WO (1) | WO2020158129A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7549694B1 (ja) | 2023-03-17 | 2024-09-11 | 旭化成エレクトロニクス株式会社 | 表示装置、表示方法および表示プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7497758B2 (ja) * | 2020-08-20 | 2024-06-11 | 株式会社村田製作所 | バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007054497A (ja) * | 2005-08-26 | 2007-03-08 | Sharp Corp | 検出装置 |
| JP2014076209A (ja) * | 2012-10-11 | 2014-05-01 | Ntt Docomo Inc | コンテクスト情報生成装置、コンテクスト情報記憶装置、コンテクスト情報生成方法、及びコンテクスト情報生成プログラム。 |
| WO2016151842A1 (ja) * | 2015-03-26 | 2016-09-29 | パイオニア株式会社 | 眠気算出装置 |
| WO2017119187A1 (ja) * | 2016-01-04 | 2017-07-13 | オムロンヘルスケア株式会社 | 血圧補正情報生成装置、血圧測定装置、血圧補正情報生成方法、血圧補正情報生成プログラム |
| JP2017169732A (ja) * | 2016-03-23 | 2017-09-28 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4993420A (en) * | 1990-03-30 | 1991-02-19 | Rutgers University | Method and apparatus for noninvasive monitoring dynamic cardiac performance |
| WO2013076656A1 (en) * | 2011-11-22 | 2013-05-30 | Koninklijke Philips Electronics N.V. | Wearable measurement device for measuring a physiological parameter of a user |
| US10285651B2 (en) * | 2016-06-30 | 2019-05-14 | Analog Devices, Inc. | On-demand heart rate estimation based on optical measurements |
| US20200058209A1 (en) * | 2016-11-13 | 2020-02-20 | Ranjan Narayanaswamy SREEDHARA | System and method for automated health monitoring |
| US10585739B2 (en) * | 2017-04-28 | 2020-03-10 | International Business Machines Corporation | Input data correction |
-
2019
- 2019-11-25 US US17/424,246 patent/US20220110592A1/en not_active Abandoned
- 2019-11-25 EP EP19912259.9A patent/EP3918983A4/en active Pending
- 2019-11-25 WO PCT/JP2019/045966 patent/WO2020158129A1/ja not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007054497A (ja) * | 2005-08-26 | 2007-03-08 | Sharp Corp | 検出装置 |
| JP2014076209A (ja) * | 2012-10-11 | 2014-05-01 | Ntt Docomo Inc | コンテクスト情報生成装置、コンテクスト情報記憶装置、コンテクスト情報生成方法、及びコンテクスト情報生成プログラム。 |
| WO2016151842A1 (ja) * | 2015-03-26 | 2016-09-29 | パイオニア株式会社 | 眠気算出装置 |
| WO2017119187A1 (ja) * | 2016-01-04 | 2017-07-13 | オムロンヘルスケア株式会社 | 血圧補正情報生成装置、血圧測定装置、血圧補正情報生成方法、血圧補正情報生成プログラム |
| JP2017169732A (ja) * | 2016-03-23 | 2017-09-28 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3918983A4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7549694B1 (ja) | 2023-03-17 | 2024-09-11 | 旭化成エレクトロニクス株式会社 | 表示装置、表示方法および表示プログラム |
| JP2024132727A (ja) * | 2023-03-17 | 2024-10-01 | 旭化成エレクトロニクス株式会社 | 表示装置、表示方法および表示プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3918983A4 (en) | 2022-04-13 |
| EP3918983A1 (en) | 2021-12-08 |
| US20220110592A1 (en) | 2022-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3046000B1 (en) | Wearable device adaptively controllable based on bioinformation, system including the same, and operating method thereof | |
| CN112005311B (zh) | 用于基于睡眠架构模型向用户递送感官刺激的系统和方法 | |
| US12226240B2 (en) | Alarm threshold setting suggestion method, system and monitor | |
| RU2602797C2 (ru) | Способ и устройство измерения стресса | |
| US9095316B2 (en) | System for generating alarms based on alarm patterns | |
| US20180192946A1 (en) | Appliance | |
| US20170258319A1 (en) | System and method for assessing eyesight acuity and hearing ability | |
| US10307100B2 (en) | Methods and systems of controlling a subject's body feature having a periodic wave function | |
| JP6831382B2 (ja) | 血圧測定の信頼性を評価する方法およびこれを実装する装置 | |
| CN113491512A (zh) | 血压监测方法和装置、电子设备、存储介质 | |
| JPWO2008056492A1 (ja) | 脳波識別方法調整装置および方法 | |
| CN110446458A (zh) | 信息处理装置和信息处理程序 | |
| WO2020158129A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR20210104814A (ko) | 피험자 인식 정보를 이용한 혈압 모니터링 시스템 및 방법 | |
| CN110446460A (zh) | 信息处理装置和信息处理程序 | |
| US10156895B2 (en) | Portable healthcare device and method of operating the same | |
| JP2008067892A (ja) | 生体解析装置及びプログラム | |
| CN106170243A (zh) | 示出心率区以下、以内和以上的分钟的简单心率监测器 | |
| CN117179717A (zh) | 实现血压测量的方法、可穿戴设备、移动终端和存储介质 | |
| EP4335360A1 (en) | Non-invasive blood pressure measurement | |
| JP4965205B2 (ja) | 心拍ゆらぎ検出装置 | |
| WO2023106277A1 (ja) | 血圧測定装置 | |
| WO2023026927A1 (ja) | 心理状態推定システム、心理状態推定方法、および、プログラム | |
| FI20245274A1 (en) | Method and system for monitoring user activity to achieve flow state | |
| WO2023070192A1 (en) | System and method for measuring skin sensitivity to vibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19912259 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2019912259 Country of ref document: EP Effective date: 20210830 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |