[go: up one dir, main page]

WO2023188280A1 - 動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体 - Google Patents

動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体 Download PDF

Info

Publication number
WO2023188280A1
WO2023188280A1 PCT/JP2022/016540 JP2022016540W WO2023188280A1 WO 2023188280 A1 WO2023188280 A1 WO 2023188280A1 JP 2022016540 W JP2022016540 W JP 2022016540W WO 2023188280 A1 WO2023188280 A1 WO 2023188280A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
motion
motion information
subject
generation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/016540
Other languages
English (en)
French (fr)
Inventor
直樹 進藤
健全 劉
悠太 並木
洋平 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2024511038A priority Critical patent/JPWO2023188280A5/ja
Priority to US18/711,254 priority patent/US20250005770A1/en
Priority to PCT/JP2022/016540 priority patent/WO2023188280A1/ja
Publication of WO2023188280A1 publication Critical patent/WO2023188280A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a motion information generation device, a motion information generation system, a motion information generation method, and a recording medium.
  • Patent Document 1 One of the technologies for supporting rehabilitation is the rehabilitation motion evaluation device described in Patent Document 1.
  • This rehabilitation motion evaluation device performs the following processing. First, this device acquires two-dimensional video data of a user undergoing rehabilitation training. Next, this device estimates skeleton information indicating the user's skeleton in the two-dimensional video data based on the two-dimensional video data. Based on the estimated skeletal information, this device evaluates the degree of rehabilitation training movement performed by the user.
  • Patent Document 1 lists the performance or failure of an action as an example of evaluation.
  • Patent Document 2 describes the following learning device.
  • This learning device is used together with a rehabilitation support device.
  • the rehabilitation support device includes an actuator that assists a trainee's rehabilitation motion, and a sensor that detects data regarding the rehabilitation motion assisted by the actuator, and transmits the rehabilitation data to the learning device.
  • the rehabilitation data includes detection data according to the detection results of the sensors.
  • the learning device generates a learning model by performing machine learning using rehabilitation data as learning data. This learning model receives detected data as input and outputs an index indicating the trainee's movement ability.
  • Patent Document 1 and Patent Document 2 mentioned above it is possible to evaluate the motion of a rehabilitation target. However, in order to support appropriate rehabilitation, it is insufficient to simply evaluate the subject's movements.
  • an example of the object of the present invention is to provide a motion information generation device, a motion information generation system, a motion information generation method, and a recording medium that can support appropriate rehabilitation of a subject. There is a particular thing.
  • the image processing means generates first motion information indicating the movement of the subject at the first timing by processing a first image taken of the subject at the first timing.
  • output means for identifying a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputting output information that is information regarding the difference;
  • a motion information generation device is provided.
  • the device includes a terminal and an operation information generation device;
  • the motion information generation device includes: an image processing means that generates first motion information indicating the movement of the subject at the first timing by processing a first image of the subject at the first timing; output means for identifying a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputting output information that is information regarding the difference to the terminal; Equipped with The terminal is provided with an operation information generation system that displays or prints the output information.
  • the computer generating first motion information indicating the movement of the subject at the first timing by processing a first image taken of the subject at the first timing;
  • a motion information generation method is provided, which identifies a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputs output information that is information regarding the difference.
  • a computer image processing that generates first motion information indicating the movement of the subject at the first timing by processing a first image taken of the subject at the first timing; Output processing that identifies a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputs output information that is information regarding the difference;
  • a computer-readable recording medium is provided that stores a program for performing the following steps.
  • a motion information generation device it is possible to provide a motion information generation device, a motion information generation system, a motion information generation method, and a recording medium that can support appropriate rehabilitation of a subject.
  • FIG. 1 is a diagram showing an overview of a motion information generation device according to an embodiment.
  • 1 is a diagram illustrating an example of a functional configuration of a motion information generation device together with an environment in which the motion information generation device is used;
  • FIG. It is a figure showing an example of skeleton information. It is a figure which shows an example of the information which the subject information storage part has memorize
  • FIG. 3 is a diagram showing an example of information stored in a reference information storage unit. It is a figure which shows the 1st example of the output information which an output part outputs to a judge terminal or a user terminal. It is a figure which shows the 2nd example of the output information which an output part outputs to a judge terminal or a user terminal.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an operation information generation device.
  • 3 is a flowchart illustrating an example of processing performed by the motion information generation device.
  • FIG. 1 is a diagram showing an overview of a motion information generation device 10 according to an embodiment.
  • the motion information generation device 10 is a device for supporting rehabilitation performed by a subject, and includes an image processing section 120 and an output section 130.
  • the image processing unit 120 generates first motion information indicating the movement of the subject at the first timing by processing a first image of the subject at the first timing.
  • the output unit 130 identifies a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputs output information that is information regarding the difference.
  • the output information relates to the difference between the first motion information indicating the movement of the subject at the first timing and the comparison motion information indicating the motion to be compared. Therefore, by using this output information, the person supporting the rehabilitation of the subject's motor function and the subject can understand the effects of the subject's rehabilitation at the first timing, and therefore the person who supports the rehabilitation of the subject's motor function can be carried out appropriately.
  • FIG. 2 is a diagram illustrating an example of the functional configuration of the motion information generation device 10 along with the environment in which the motion information generation device 10 is used.
  • the motion information generation device 10 is used together with a user terminal 20 and a judge terminal 30.
  • the behavior information generation device 10, the user terminal 20, and the judge terminal 30 constitute at least a part of the behavior information generation system. Note that this operation information generation system does not need to include either the user terminal 20 or the judge terminal 30.
  • the user terminal 20 is operated by a first therapist or a subject stationed at a facility where rehabilitation is performed.
  • the judge terminal 30 is operated by a second therapist located outside the above-described facility.
  • the second therapist has more experience than the first therapist and can advise the first therapist.
  • the first therapist and the second therapist are, for example, medical therapists such as physical therapists and occupational therapists.
  • the operation information generation device 10 acquires various information from the user terminal 20.
  • the information acquired from the user terminal 20 will be referred to as input information.
  • the input information includes the first image.
  • the first image is generated after the subject performs a menu set as rehabilitation.
  • the motion information generation device 10 then generates output information using the input information, and transmits the generated output information to the judge terminal 30.
  • the judge terminal 30 displays or prints the output information.
  • the therapist refers to the output information and creates advice information for the subject. This advice information includes at least part of the output information.
  • the judge terminal 30 transmits the advice information to the motion information generation device 10.
  • the motion information generation device 10 transmits this advice information to the user terminal 20 and stores it in the target person information storage section 140.
  • the user terminal 20 displays or prints the advice information.
  • the subject or the first therapist refers to the advice information and determines the next rehabilitation menu. The subject then performs the next rehabilitation according to this menu.
  • the user terminal 20 may also serve as the judge terminal 30.
  • the advice information may not be transmitted to the motion information generation device 10, or may be transmitted.
  • the motion information generation device 10 includes an information acquisition section 110, an image processing section 120, an output section 130, a subject information storage section 140, an evaluation criteria storage section 150, and a reference information storage section 160. Note that at least one of the subject information storage section 140, the evaluation criteria storage section 150, and the reference information storage section 160 may be located outside the motion information generation device 10.
  • the information acquisition unit 110 acquires input information from the user terminal 20.
  • the information acquisition unit 110 also acquires information from the judge terminal 30 as necessary.
  • the input information includes the first image, as described above.
  • the input information may include other information.
  • Other information is, for example, at least one of the following: ⁇ Rehabilitation stage. This will be referred to as stage information below.
  • ⁇ Comments from the target audience For example, comments indicating rehabilitation goals (e.g., what kind of movement you would like to perform after rehabilitation).
  • ⁇ Comments from the subject's family ⁇ Comments from the first therapist.
  • the image processing unit 120 generates first motion information by processing the first image included in the input information.
  • the first movement information indicates the movement of the subject at the first timing when the first image is generated.
  • the image processing unit 120 generates skeletal information of the subject for each of the plurality of still images, and
  • the first motion information may be generated using a plurality of pieces of skeleton information.
  • the first image includes a plurality of frame images constituting a moving image
  • this moving image may be generated while the subject is performing a predetermined exercise test.
  • the predetermined exercise test is, for example, at least one of a TUG test (timed up & go test), a tandem walking test, and a one-leg standing test.
  • the skeletal information indicates, for example, the relative positions of different parts of the human body with respect to other parts. These parts are, for example, a person's head and joints, and the relative position is a line connecting them.
  • the parts include the head, neck, right shoulder, left shoulder, right elbow, left elbow, right wrist, left wrist, right hip, left hip, right knee, left knee, right ankle, and left ankle.
  • the first operation information includes, for example, at least one of the following.
  • the image processing unit 120 when the image processing unit 120 generates skeleton information, the image processing unit 120 can easily generate the following information. ⁇ The position of at least one joint point in a specific motion. ⁇ The movement vector of at least one joint point in a specific motion. ⁇ The relative position of at least two joint points in a specific motion.
  • the "position of at least one joint point in a specific motion” is, for example, the position of the ankle or knee during walking.
  • the first motion information indicates how high the foot is raised.
  • the image processing unit 120 can also generate "the position of at least one joint point in a specific motion" using one still image.
  • the "movement vector of at least one joint point in a specific motion” is, for example, a motion vector of at least one of the ankle, wrist, knee, and elbow.
  • the image processing unit 120 calculates the position of the joint point in each of the plurality of frame images, and calculates the movement vector using the difference in the position of the joint point in the plurality of frame images.
  • the image processing unit 120 can also calculate the movement speed of the joint points using the frame rate.
  • the movement vector may be a movement vector of each of two adjacent joint points.
  • the movement vectors may be a right ankle movement vector and a right knee movement vector. These two movement vectors indicate movement of the right shin.
  • the "relative position of at least two joint points in a specific motion” is, for example, the relative position of the wrist and ankle.
  • the first motion information indicates the flexibility of the body.
  • the user terminal 20 can also generate "relative positions of at least two joint points in a specific motion" using one still image.
  • the output unit 130 identifies the difference between the first motion information and the comparison motion information, and outputs output information that is information regarding the difference.
  • the comparison operation information is, for example, at least one of the following.
  • the comparison motion information is stored, for example, in the subject information storage unit 140.
  • the comparison operation information is stored in the reference information storage section 160, for example.
  • the second timing is, for example, before starting the current rehabilitation menu.
  • the difference between the first motion information and the comparison motion information indicates the effect of the current menu, that is, the degree of progress of rehabilitation.
  • the reference person is, for example, a person who does not have any physical problems.
  • the comparison motion information indicates, for example, a target motion.
  • the difference between the first motion information and the comparative motion information indicates the difference in motion between the target person and the reference person after rehabilitation. Again, this difference indicates the degree of rehabilitation progress.
  • the image processing unit 120 may generate the comparison motion information by processing the second image in the same manner as the first image. Furthermore, the image processing unit 120 may generate comparison motion information by processing the third image in the same manner as the first image.
  • the output information includes, for example, at least one of the following.
  • Information indicating the effectiveness of rehabilitation For example, the progress of rehabilitation.
  • the output unit 130 calculates the degree of progress using a machine learning model that uses at least one of the first motion information, comparative motion information, and the difference as an explanatory variable and the degree of progress as an objective variable.
  • Actions that the subject should perform in the next rehabilitation menu hereinafter, this operation will be referred to as a recommended operation.
  • the output unit 130 determines the recommended operation based on, for example, the above-mentioned difference.
  • the output unit 130 sets a new motion, for example, a motion with a large load, as a recommended motion when rehabilitation is progressing, and maintains the current recommended motion when rehabilitation is not progressing.
  • First motion information and comparative motion information An example of the first motion information is skeleton information generated by the image processing unit 120. In this case, it is preferable that the comparison motion information is also skeleton information.
  • Second therapist input field At least one piece of information included in the data. For example, at least one of a comment from the subject, a comment from the subject's family, and a comment from the first therapist.
  • the first motion information may be generated for each of a plurality of body parts.
  • comparison motion information is also prepared for each of a plurality of body parts.
  • the output information includes recommended motions for each of a plurality of body parts.
  • rehabilitation has multiple stages. Therefore, recommended operations are preferably set for each stage.
  • the output unit 130 determines the recommended motion using the stage information included in the input information acquired by the information acquisition unit 110 in (a) above.
  • the input information acquired by the information acquisition unit 110 may include a plurality of pieces of first information, for example, a plurality of videos. These plurality of first images show the same action performed by the same subject at the same time.
  • the output unit 130 generates first motion information from each of the plurality of first images, and calculates a difference between each of the plurality of first motion information and the comparison motion information. Then, the output unit 130 may include the result of statistical processing of this difference in the output information. Examples of statistical processing include calculation of an average value, calculation of a mode, etc., but are not limited to these.
  • the output unit 130 may include the result of statistical processing on at least a part of the first motion information in the output information.
  • the information subject to statistical processing here includes, for example, the position of at least one joint point in a specific motion, the movement vector of at least one joint point in a specific motion, and the relative position of at least two joint points in a specific motion. at least one of the following.
  • the output unit 130 also outputs information such that information based on the past first motion information and information based on the current first motion information are displayed or printed side by side so that they can be compared with each other.
  • the information compared here includes, for example, at least the position of at least one joint point in a specific motion, the movement vector of at least one joint point in a specific motion, and the relative position of at least two joint points in a specific motion.
  • the output unit 130 uses information based on past first motion information and information based on current first motion information to produce information that visually indicates changes in the movement range or posture of the skeleton, for example.
  • Graphs may also be included in the output information. Posture is indicated, for example, by a deviation of the back muscles from their proper position. In this way, it becomes easier to understand the change in the degree of recovery of the subject's body by performing rehabilitation.
  • the information to be compared may be the result of statistical processing of the information.
  • both the first motion information and the recommended motion are "swinging the legs back and forth.”
  • ⁇ Swinging your legs back and forth'' is when the subject stands on one leg while grasping a handrail, etc., and slowly moves the other leg back and forth as much as possible without adding any momentum.
  • the purpose of this exercise is to allow the hip joints to move smoothly.
  • the image processing unit 120 calculates the vertical movement range of the foot from the skeletal information. Then, the output unit 130 calculates the difference between the currently calculated vertical movement range and the person's past vertical movement range, and uses this difference to evaluate the amount of motor function improvement.
  • both the first motion information and the recommended motion may be "knee extension swing.” This motion involves the subject sitting on a chair, with one leg straight, and swinging the leg up and down in small increments. As this speed of movement increases, the load on the subject increases. Also, when you raise your legs higher, you work more muscles. The purpose of this exercise is to stabilize the movement of your knees.
  • the image processing unit 120 calculates the number of times the foot moves up and down within the specified time from the skeletal information, and evaluates the amount of exercise and load.
  • the target person information storage unit 140 stores various information regarding the target person. A detailed example of the information stored in the subject information storage unit 140 will be described later using other figures.
  • the evaluation criteria storage unit 150 stores information necessary for determining the effectiveness of rehabilitation.
  • the evaluation criteria storage unit 150 stores models for outputting rehabilitation effects for each body part and stage. This model is generated, for example, by machine learning, using at least one of first motion information, comparative motion information, and difference as an explanatory variable, and information indicating the degree of progress of rehabilitation as a target variable.
  • the degree of progress may be shown, for example, as a progress rate (for example, %), or as a binary value of completed/incompleted.
  • the reference information storage unit 160 stores information necessary to generate output information.
  • An example of this information is information indicating recommended actions.
  • a detailed example of the information stored in the reference information storage unit 160 will be described later using other figures.
  • FIG. 4 is a diagram showing an example of information stored in the subject information storage unit 140.
  • the subject information storage unit 140 stores at least one of the following. ⁇ Target person's name/target person identification information.
  • An example of this information is the subject ID.
  • ⁇ Attributes of the target person For example, the subject's age, gender, height, weight, daily life function (Barthel Index), grip strength, one-legged standing time, TUG test results, joint-legged walking test results, one-legged standing test results, At least one of the Borg balance scales.
  • the attributes preferably further include the level of care.
  • the attributes of the target person may be updated periodically, for example, every three months.
  • FIG. 5 is a diagram showing an example of information stored in the reference information storage section 160.
  • the reference information storage unit 160 stores information indicating recommended motions for each body part.
  • this information includes textual information that describes the recommended action and image information that directly indicates the recommended action.
  • the image information includes at least one of a still image and a moving image.
  • the reference information storage unit 160 stores information indicating recommended motions for each body part and for each stage of rehabilitation.
  • FIG. 6 is a diagram showing a first example of output information that the output unit 130 outputs to the judge terminal 30 or the user terminal 20.
  • the output information includes a first column 200 that displays the subject's basic information, a second column 202 that indicates the problem part of the body, for example, a painful part, and a second column 202 that displays the subject's and family's comments. 3 column 204, and a fourth column 206 indicating the first therapist's comments.
  • the output unit 130 acquires the information shown in the first column 200 from the subject information storage unit 140. Further, the output unit 130 uses the input information acquired by the information acquisition unit 110 to generate information shown in the second column 202, the third column 204, and the fourth column 206.
  • FIG. 7 is a diagram showing a second example of output information that the output unit 130 outputs to the judge terminal 30 or the user terminal 20.
  • the output information includes a rehabilitation objective and comprehensive advice for achieving this objective.
  • the output unit 130 generates the information shown in this figure using, for example, the input information acquired by the information acquisition unit 110. Note that the output unit 130 may obtain part of the information shown in this figure from the subject information storage unit 140 or the reference information storage unit 160.
  • FIG. 8 is a diagram showing a third example of output information that the output unit 130 outputs to the judge terminal 30 or the user terminal 20.
  • the output information includes a fifth column 220 for displaying questions from the first therapist to the second therapist, and a sixth column 222 for the second therapist to input answers to the questions. Contains.
  • the information input in the sixth column 222 is transmitted from the judge terminal 30 or the user terminal 20 to the behavior information generation device 10 as part of the advice information.
  • FIG. 9 is a diagram showing a fourth example of output information that the output unit 130 outputs to the judge terminal 30 or the user terminal 20.
  • the output information includes a seventh column 230 indicating the recommended action and an eighth column 234 indicating the purpose of the recommended action.
  • the output unit 130 acquires the information shown in these columns from the reference information storage unit 160.
  • the eighth column 234 may be updatable by the second therapist.
  • the updated information is transmitted from the judge terminal 30 or the user terminal 20 to the behavior information generation device 10 as part of the advice information.
  • the seventh column 230 further includes a ninth column 232 that displays images showing recommended actions.
  • the image shown in the ninth column 232 may be a still image or a moving image. In the former case, when the ninth column 232 is selected, the moving image may be played back in the ninth column 232.
  • FIG. 10 is a diagram showing a fifth example of output information that the output unit 130 outputs to the judge terminal 30 or the user terminal 20.
  • the output information includes a tenth column 250 indicating first operation information and an eleventh column 252 containing comparison operation information.
  • skeletal information may be displayed superimposed on the first image.
  • skeleton information may be displayed superimposed on the image on which the comparison motion information is based, for example, the second image.
  • each column shown in FIG. 10 only skeletal information or only images may be displayed.
  • the skeletal information as the first motion information and the skeletal information as the second motion information may be displayed overlapping each other.
  • FIG. 11 is a diagram showing an example of the hardware configuration of the motion information generation device 10.
  • the operational information generation device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input/output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path through which the processor 1020, memory 1030, storage device 1040, input/output interface 1050, and network interface 1060 exchange data with each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor implemented by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a removable medium such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory).
  • the storage device 1040 stores program modules that implement each function of the operational information generation device 10 (for example, the information acquisition section 110, the image processing section 120, and the output section 130).
  • the processor 1020 reads each of these program modules onto the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the storage device 1040 also functions as at least one of the subject information storage section 140, the evaluation criteria storage section 150, and the reference information storage section 160.
  • the input/output interface 1050 is an interface for connecting the operation information generation device 10 and various input/output devices.
  • the network interface 1060 is an interface for connecting the operational information generation device 10 to a network.
  • This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method by which the network interface 1060 connects to the network may be a wireless connection or a wired connection.
  • the behavior information generation device 10 may communicate with the user terminal 20 and the judge terminal 30 via the network interface 1060.
  • FIG. 12 is a flowchart illustrating an example of processing performed by the motion information generation device 10.
  • the user of the user terminal 20 inputs necessary information.
  • the user terminal 20 then transmits this information to the motion information generation device 10 as input information.
  • the input information includes the first image, as described above.
  • the input information may include a plurality of first images.
  • a plurality of first images for example a plurality of moving images, may be included. These plurality of first images show the same action performed by the same subject.
  • the information acquisition unit 110 of the motion information generation device 10 acquires this input information (step S10).
  • the image processing unit 120 then generates first motion information by processing the first image (step S20).
  • the image processing unit 120 may generate the first motion information from each of the plurality of first images.
  • the output unit 130 reads the comparison motion information from the subject information storage unit 140 or the reference information storage unit 160, and identifies the difference between the read comparison motion information and the first motion information (step S30). The output unit 130 then generates output information regarding this difference. Specific examples of the output information are as described using FIG. 2 and FIGS. 6 to 10. At this time, the output unit 130 may generate information indicating the degree of progress of rehabilitation using the information stored in the evaluation criteria storage unit 150, and may include this information in the output information (step S40). Here, the output unit 130 may include the result of statistical processing in the output information when the first motion information is generated from each of the plurality of first images.
  • the output unit 130 outputs the output information to the judge terminal 30 and stores it in the subject information storage unit 140.
  • the output unit 130 may output the output information to the user terminal 20 (step S50).
  • the second therapist uses the judge terminal 30 to check the output information.
  • the second therapist then generates advice information using this output information.
  • the second therapist generates advice information by processing at least a portion of this output information.
  • the judge terminal 30 transmits the advice information to the motion information generation device 10.
  • the information acquisition unit 110 of the motion information generation device 10 acquires this advice information (step S60). The information acquisition unit 110 then transmits this advice information to the user terminal 20 and stores it in the target person information storage unit 140 (step S70).
  • the output information relates to the difference between the first motion information indicating the movement of the subject at the first timing and the comparison motion information indicating the motion to be compared. Therefore, the person who supports the rehabilitation of the subject or the subject can appropriately perform rehabilitation by using this output information.
  • the second therapist can easily generate advice information by using the output information. Then, the person supporting the rehabilitation of the subject or the subject can carry out the rehabilitation based on the advice of the second therapist, that is, a therapist with extensive experience.
  • the second therapist does not have to travel to the facility where the target person is located. Therefore, the number of subjects that the second therapist can treat increases.
  • an image processing means that generates first motion information indicating the movement of the subject at the first timing by processing a first image of the subject at the first timing; output means for identifying a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputting output information that is information regarding the difference;
  • a motion information generation device comprising: 2. In the motion information generation device according to 1 above, The motion information generation device, wherein the comparison motion information is generated by processing a second image taken of the subject at a second timing that is before the first timing. 3.
  • the comparative motion information is generated by processing a third image of a reference person who is different from the subject. 4.
  • the image processing means is a motion information generation device that generates the comparison motion information by processing the second image. 5.
  • the first timing is after the subject has undergone rehabilitation training, A motion information generation device, wherein the output information includes a recommended motion that is a motion that the subject should perform. 6.
  • the difference is generated for each of a plurality of body parts, The motion information generation device, wherein the output information includes the recommended motion for each of the plurality of body parts. 7.
  • the output means is a motion information generation device that determines the recommended motion using the stage information.
  • a motion information generation device wherein the output information includes the first motion information and the comparison motion information.
  • the first image includes a plurality of still images
  • the image processing means is a motion information generation device that generates skeletal information of the subject for each of the plurality of still images, and generates the first motion information using the skeletal information. 10.
  • the first motion information includes at least one of the following. - the position of at least one joint point in a specific motion; the movement vector of at least one joint point in a specific motion; and the relative position of at least two joint points in a specific motion 11.
  • the motion information generation device includes: an image processing means that generates first motion information indicating the movement of the subject at the first timing by processing a first image of the subject at the first timing; output means for identifying a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputting output information that is information regarding the difference to the terminal; Equipped with The terminal is an operation information generation system that displays or prints the output information. 12.
  • the comparative motion information is generated by processing a second image taken of the subject at a second timing that is before the first timing. 13.
  • the comparative motion information is generated by processing a third image taken of a reference person who is different from the target person.
  • the image processing means is a motion information generation system that generates the comparison motion information by processing the second image.
  • the first timing is after the subject has undergone rehabilitation training, A motion information generation system, wherein the output information includes a recommended motion that is a motion that the subject should perform. 16.
  • the difference is generated for each of a plurality of body parts,
  • the motion information generation system wherein the output information includes the recommended motion for each of the plurality of body parts.
  • the output means is a motion information generation system that determines the recommended motion using the stage information. 18.
  • a motion information generation system wherein the output information includes the first motion information and the comparison motion information. 19.
  • the first image includes a plurality of still images, A motion information generation system, wherein the image processing means generates skeletal information of the subject for each of the plurality of still images, and generates the first motion information using the skeletal information.
  • the first motion information includes at least one of the following: ⁇ The position of at least one joint point in a specific motion. ⁇ The movement vector of at least one joint point in a specific motion. ⁇ The relative position of at least two joint points in a specific motion 21.
  • the computer is generating first motion information indicating the movement of the subject at the first timing by processing a first image taken of the subject at the first timing;
  • a motion information generation method which identifies a difference between the first motion information and comparison motion information indicating a motion to be compared, and outputs output information that is information regarding the difference. 22.
  • the comparison motion information is generated by processing a second image taken of the subject at a second timing that is before the first timing. 23.
  • the comparison motion information is generated by processing a third image taken of a reference person who is different from the subject. 24.
  • a motion information generation method wherein the computer generates the comparison motion information by processing the second image. 25.
  • the first timing is after the subject has undergone rehabilitation training,
  • the output information includes a recommended motion that the subject should perform. 26.
  • the difference is generated for each of a plurality of body parts,
  • the motion information generation method wherein the output information includes the recommended motion for each of the plurality of body parts. 27.
  • the computer includes: Furthermore, obtaining stage information indicating the stage of rehabilitation training of the subject, A motion information generation method, wherein the recommended motion is determined using the stage information. 28.
  • the motion information generation method wherein the output information includes the first motion information and the comparison motion information. 29.
  • the first image includes a plurality of still images, A motion information generation method, wherein the computer generates skeletal information of the subject for each of the plurality of still images, and generates the first motion information using the skeletal information. 30.
  • the first motion information includes at least one of the following. - the position of at least one joint point in a specific motion; the movement vector of at least one joint point in a specific motion; and the relative position 31 of at least two joint points in a specific motion.
  • the comparison motion information is a recording medium that is generated by processing a second image taken of the subject at a second timing that is before the first timing.
  • the comparison motion information is a recording medium generated by processing a third image taken of a reference person who is different from the target person. 34.
  • the image processing function is a recording medium that generates the comparison operation information by processing the second image. 35.
  • the first timing is after the subject has undergone rehabilitation training,
  • the output information includes a recommended action that the subject should perform. 36.
  • the difference is generated for each of a plurality of body parts,
  • the output information includes the recommended actions for each of the plurality of parts. 37.
  • the program further provides the computer with an information acquisition function for acquiring stage information indicating the stage of rehabilitation training of the subject;
  • the output function is a recording medium that determines the recommended operation using the stage information. 38.
  • the output information includes the first motion information and the comparison motion information.
  • the first image includes a plurality of still images
  • the image processing function may generate skeletal information of the subject for each of the plurality of still images, and generate the first motion information using the skeletal information.
  • the first operation information is a recording medium including at least one of the following. - the position of at least one joint point in a specific motion; the movement vector of at least one joint point in a specific motion; and the relative position 41 of at least two joint points in a specific motion.
  • Behavior information generation device 20
  • User terminal 30
  • Judge terminal 110
  • Information acquisition unit 120
  • Output unit 140
  • Subject information storage unit 150
  • Evaluation criteria storage unit 160
  • Reference information storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pain & Pain Management (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Rehabilitation Therapy (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

動作情報生成装置（１０）は、対象者が行うリハビリテーションを支援するための装置であり、画像処理部（１２０）及び出力部（１３０）を備えている。画像処理部（１２０）は、第１タイミングにおいて対象者を撮影した第１画像を処理することにより、第１タイミングにおける対象者の動きを示す第１動作情報を生成する。出力部（１３０）は、第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する。

Description

動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体
　本発明は、動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体に関する。
　基本的動作を回復することを目的として、けがや病気をした人にリハビリテーションを行わせる機会が増えている。
　リハビリテーションをサポートするための技術の一つに、特許文献１に記載のリハビリ動作評価装置がある。このリハビリ動作評価装置は、以下の処理を行う。まず、この装置は、リハビリ訓練を受けている利用者を撮影した２次元動画像データを取得する。次いで、この装置は、２次元動画像データに基づいて、２次元動画像データにおける利用者の骨格を示す骨格情報を推定する。そしてこの装置は、推定された骨格情報に基づいて、利用者が行うリハビリ訓練に関するリハビリ訓練動作の程度を評価する。特許文献１には、評価の一例として、動作の出来又は不出来が挙げられている。
　また特許文献２には、以下の学習装置が記載されている。この学習装置は、リハビリ支援装置と共に使用される。リハビリ支援装置は、訓練者のリハビリ動作を補助するアクチュエータと、アクチュエータによって補助されたリハビリ動作に関するデータを検出するセンサと、を備えており、学習装置にリハビリデータを送信する。リハビリデータは、センサの検出結果に応じた検出データを含んでいる。学習装置は、リハビリデータを学習用データとした機械学習を行うことで、学習モデルを生成する。この学習モデルは、検出データを入力として、訓練者の動作能力を示す指標を出力する。
特開２０２１－０４９３１９号公報 特開２０２１－００３４８９号公報
　上述した特許文献１及び特許文献２によれば、リハビリテーションの対象者の動作を評価することはできる。しかし、リハビリテーションを適切に行うことを支援するためには、対象者の動作を評価するのみでは不十分である。
　本発明の目的の一例は、上述した課題を鑑み、対象者のリハビリテーションを適切に行うことを支援することができる動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体を提供することにある。
　本発明の一態様によれば、第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理手段と、
　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する出力手段と、
を備える動作情報生成装置が提供される。
　本発明の一態様によれば、端末と、動作情報生成装置と、を備え、
　前記動作情報生成装置は、
　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理手段と、
　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を前記端末に出力する出力手段と、
を備え、
　前記端末は、前記出力情報を表示または印刷する、動作情報生成システムが提供される。
　本発明の一態様によれば、コンピュータが、
　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成し、
　　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する、動作情報生成方法が提供される。
　本発明の一態様によれば、コンピュータに、
　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理と、
　　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する出力処理と、
を行わせるプログラムを記憶した、コンピュータで読み取り可能な記録媒体が提供される。
　本発明の一態様によれば、対象者のリハビリテーションを適切に行うことを支援することができる動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体を提供できる。
実施形態に係る動作情報生成装置の概要を示す図である。 動作情報生成装置の機能構成の一例を、動作情報生成装置の使用環境と共に示す図である。 骨格情報の一例を示す図である。 対象者情報記憶部が記憶している情報の一例を示す図である。 参照情報記憶部が記憶している情報の一例を示す図である。 出力部が判断者端末又は利用者端末に出力する出力情報の第１例を示す図である。 出力部が判断者端末又は利用者端末に出力する出力情報の第２例を示す図である。 出力部が判断者端末又は利用者端末に出力する出力情報の第３例を示す図である。 出力部が判断者端末又は利用者端末に出力する出力情報の第４例を示す図である。 出力部が判断者端末又は利用者端末に出力する出力情報の第５例を示す図である。 動作情報生成装置のハードウェア構成例を示す図である。 動作情報生成装置が行う処理の一例を示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　図１は、実施形態に係る動作情報生成装置１０の概要を示す図である。動作情報生成装置１０は、対象者が行うリハビリテーションを支援するための装置であり、画像処理部１２０及び出力部１３０を備えている。画像処理部１２０は、第１タイミングにおいて対象者を撮影した第１画像を処理することにより、第１タイミングにおける対象者の動きを示す第１動作情報を生成する。出力部１３０は、第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する。
　この動作情報生成装置１０によれば、出力情報は、第１タイミングにおける対象者の動きを示す第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分に関している。このため、対象者の運動機能のリハビリを支援する人や対象者は、この出力情報を用いることにより、第１タイミングにおける対象者のリハビリテーションの効果などを把握することができるため、それ以降のリハビリテーションを適切に行うことができる。
　以下、動作情報生成装置１０の詳細例について説明する。
　図２は、動作情報生成装置１０の機能構成の一例を、動作情報生成装置１０の使用環境と共に示す図である。動作情報生成装置１０は、利用者端末２０及び判断者端末３０と共に使用される。動作情報生成装置１０、利用者端末２０、及び判断者端末３０により、動作情報生成システムの少なくとも一部が構成される。なお、この動作情報生成システムは、利用者端末２０及び判断者端末３０の一方を含んでいなくてもよい。
　利用者端末２０は、リハビリテーションを行う施設に駐在する第１のセラピスト、又は対象者によって操作される。判断者端末３０は、上記した施設の外にいる第２のセラピストによって操作される。第２のセラピストは、第１のセラピストと比較して経験が豊富であり、第１のセラピストに対して助言を行える。なお、第１のセラピスト及び第２のセラピストは、例えば理学療法士や作業療法士などの医療系セラピストである。
　動作情報生成装置１０は、利用者端末２０から各種の情報を取得する。以下、利用者端末２０から取得した情報を入力情報と記載する。入力情報は、第１画像を含んでいる。第１画像は、対象者がリハビリテーションとして設定されたメニューを行った後に生成される。そして動作情報生成装置１０は、入力情報を用いて出力情報を生成し、生成した出力情報を判断者端末３０に送信する。
　判断者端末３０は、出力情報を表示または印刷する。セラピストは、出力情報を参照して、対象者に対するアドバイス情報を作成する。このアドバイス情報は、出力情報の少なくとも一部を含んでいる。そして判断者端末３０は、アドバイス情報を動作情報生成装置１０に送信する。動作情報生成装置１０は、このアドバイス情報を利用者端末２０に送信するとともに、対象者情報記憶部１４０に記憶させる。
　そして利用者端末２０はアドバイス情報を表示または印刷する。対象者又は第１のセラピストは、アドバイス情報を参照して次のリハビリテーションのメニューを決定する。そして対象者は、このメニューに従って次のリハビリテーションを行う。
　なお、利用者端末２０は判断者端末３０を兼ねていてもよい。この場合、アドバイス情報は動作情報生成装置１０に送信されなくてもよいし、送信されてもよい。
　そして動作情報生成装置１０は、情報取得部１１０、画像処理部１２０、出力部１３０、対象者情報記憶部１４０、評価基準記憶部１５０、及び参照情報記憶部１６０を有する。なお、対象者情報記憶部１４０、評価基準記憶部１５０、及び参照情報記憶部１６０の少なくとも一つは動作情報生成装置１０の外部に位置していてもよい。
　情報取得部１１０は、利用者端末２０から入力情報を取得する。また情報取得部１１０は、必要に応じて判断者端末３０からも情報を取得する。入力情報は、上記したように、第１画像を含んでいる。なお、入力情報は、他の情報を含んでいてもよい。他の情報は、例えば以下の少なくとも一つである。
・リハビリテーションのステージ。以下、ステージ情報と記載する。
・対象者からのコメント。例えばリハビリの目標（例えばリハビリ後にどのような動きをしたいかを示すコメント。
・対象者の家族のコメント
・第１のセラピストのコメント。例えば痛みのある部位やリハビリの目標を示すコメントや、第１のセラピストから第２のセラピストへの質問。
　画像処理部１２０は、入力情報に含まれる第１画像を処理することにより、第１動作情報を生成する。第１動作情報は、図１を用いて説明したように、第１画像が生成された第１タイミングにおける対象者の動きを示している。例えば第１画像に複数の静止画像、例えば同一の動画を構成する複数のフレーム画像が含まれている場合、画像処理部１２０は、複数の静止画像毎に対象者の骨格情報を生成し、これら複数の骨格情報を用いて第１動作情報を生成してもよい。
　第１画像が動画を構成する複数のフレーム画像を含んでいる場合、この動画は、対象者が所定の運動テストを行っているときに生成されていてもよい。所定の運動テストは、例えば、ＴＵＧテスト（timed up＆go test）、継ぎ足歩行テスト（タンデム歩行）、及び片足立位テストの少なくとも一つである。
　骨格情報の一例を図３に示す。この例において、骨格情報は、例えば人体の互いに異なる部位の、他の部位に対する相対位置を示している。これらの部位は、例えば人の頭及び関節であり、相対位置は、これらを結ぶ線である。一例として、部位としては、例えば頭、首、右肩、左肩、右肘、左肘、右手首、左手首、右腰、左腰、右膝、左膝、右足首、及び左足首である。
　第１動作情報は、例えば以下の少なくとも一つを含んでいる。特に画像処理部１２０が骨格情報を生成する場合、画像処理部１２０は容易に以下の情報を生成することができる。
・特定の動作における少なくとも一つの関節点の位置
・特定の動作における少なくとも一つの関節点の移動ベクトル
・特定の動作における少なくとも２つの関節点の相対位置
　「特定の動作における少なくとも一つの関節点の位置」は、例えば、歩行時の足首又は膝の位置である。この場合、第１動作情報は、足がどの程度上がっているかを示している。画像処理部１２０は、一つの静止画を用いて「特定の動作における少なくとも一つの関節点の位置」を生成することも可能である。
　「特定の動作における少なくとも一つの関節点の移動ベクトル」は、例えば足首、手首、膝、及び肘の少なくとも一つの移動ベクトルである。この場合、画像処理部１２０は、複数のフレーム画像それぞれにおける関節点の位置を算出し、複数のフレーム画像における関節点の位置の差分を用いて、移動ベクトルを算出する。また画像処理部１２０は、フレームレートを用いて関節点の移動速度を算出することもできる。
　ここで、移動ベクトルは、隣り合う２つの関節点それぞれの移動ベクトルであってもよい。一例として、移動ベクトルは、右足首の移動ベクトル及び右膝の移動ベクトルであってもよい。これら２つの移動ベクトルは、右脛の移動を示している。
　「特定の動作における少なくとも２つの関節点の相対位置」は、例えば手首と足首の相対位置である。この場合、第１動作情報は、体の柔軟性を示している。利用者端末２０は、一つの静止画を用いて「特定の動作における少なくとも２つの関節点の相対位置」を生成することも可能である。
　出力部１３０は、図１を用いて説明したように、第１動作情報と比較動作情報の差分を特定し、当該差分に関する情報である出力情報を出力する。
　比較動作情報は、例えば以下の少なくとも一つである。
（１）第１タイミングよりも前である第２タイミングにおいて対象者を撮影した第２画像を処理することにより生成された情報。この場合、比較動作情報は、例えば対象者情報記憶部１４０に記憶されている。
（２）対象者とは異なる人である基準者を撮影した第３画像を処理することにより生成された情報。この場合、比較動作情報は、例えば参照情報記憶部１６０に記憶されている。
　上記（１）において、第２タイミングは、例えば、今回のリハビリテーションのメニューを開始する前である。この場合、第１動作情報と比較動作情報の差分は、今回のメニューによる効果、すなわちリハビリテーションの進捗度合いを示している。
　上記（２）において、基準者は、例えば身体に不具合がない人である。この場合、比較動作情報は、例えば目標となる動きを示している。そして第１動作情報と比較動作情報の差分は、リハビリテーション後の対象者と基準者の動きの差を示している。この場合も、この差は、リハビリテーションの進捗度合いを示している。
　画像処理部１２０は、第２画像を第１画像と同様に処理することにより、比較動作情報を生成してもよい。さらに画像処理部１２０は、第３画像を第１画像と同様に処理することにより、比較動作情報を生成してもよい。
　また、出力情報は、例えば以下の少なくとも一つを含んでいる。
（ａ）リハビリテーションの効果を示す情報。例えばリハビリテーションの進捗度合い。例えば出力部１３０は、第１動作情報、比較動作情報、及び差分の少なくとも一つを説明変数として、進捗度合いを目的変数とする機械学習モデルを用いて、この進捗度合いを算出する。
（ｂ）次のリハビリテーションのメニューにおいて、対象者が行うべき動作。以下、この動作を推奨動作と記載する。出力部１３０は、推奨動作を、例えば上記した差分に基づいて決定する。例えば出力部１３０は、リハビリテーションが進んでいる場合は、新たな動作、例えば負荷が大きい動作を推奨動作にして、リハビリテーションが進んでいない場合は現状の推奨動作を維持する。
（ｃ）第１動作情報及び比較動作情報。第１動作情報の一例は、画像処理部１２０が生成した骨格情報である。この場合、比較動作情報も、骨格情報であるのが好ましい。
（ｄ）第２のセラピストの入力欄
（ｅ）データに含まれる情報の少なくとも一つ。例えば、対象者からのコメント、対象者の家族のコメント、及び第１のセラピストのコメントの少なくとも一つ。
　上記（ｂ）において、複数の体の部位ごとに、第１動作情報が生成されることがある。この場合、比較動作情報も複数の体の部位ごとに準備されている。この場合、出力情報は、複数の体の部位別の推奨動作を含んでいる。
　また、リハビリテーションには複数のステージがある。このため、推奨動作は、ステージ別に設定されているのが好ましい。この場合、出力部１３０は、上記（ａ）において、情報取得部１１０が取得した入力情報に含まれるステージ情報を用いて推奨動作を決定するのが好ましい。
　なお、情報取得部１１０が取得する入力情報は、複数の第１情報、例えば複数の動画を含んでいてもよい。これら複数の第１画像は、同一の対象者が同一時期に行った同一の動作を示している。この場合、出力部１３０は、複数の第１画像それぞれから第１動作情報を生成し、これら複数の第１動作情報それぞれについて、比較動作情報との差分を算出する。そして出力部１３０は、この差分を統計処理した結果を、出力情報に含めてもよい。統計処理の一例は、平均値の算出、最頻値の算出などであるが、これらに限定されない。ここで出力部１３０は、第１動作情報の少なくとも一部を統計処理した結果、出力情報に含めてもよい。ここで統計処理の対象になる情報は、例えば特定の動作における少なくとも一つの関節点の位置、特定の動作における少なくとも一つの関節点の移動ベクトル、及び特定の動作における少なくとも２つの関節点の相対位置の少なくとも一つである。
　また出力部１３０は、出力情報において、過去の第１動作情報に基づいた情報と、今回の第１動作情報に基づいた情報と、が互いに比較可能に、例えば並べて表示または印刷されるようにしてもよい。ここで比較される情報は、例えば、特定の動作における少なくとも一つの関節点の位置、特定の動作における少なくとも一つの関節点の移動ベクトル、及び特定の動作における少なくとも２つの関節点の相対位置の少なくとも一つである。例えば出力部１３０は、過去の第１動作情報に基づいた情報と、今回の第１動作情報に基づいた情報と、を用いて、骨格の稼働幅や姿勢の変化を視覚的に示す情報、例えばグラフを出力情報に含めてもよい。姿勢は、例えば、背筋の適正位置からの乖離によって示される。このようにすると、リハビリテーションを行うことによって対象者の身体の回復度合いの推移を把握しやすくなる。なお、比較される情報は、これらを統計処理した結果であってもよい。
　例えば、第１動作情報及び推奨動作の双方が「足の前後振り」である場合を考える。「足の前後振り」は、対象者が手すりなどを掴みつつ片足で立った状態で、もう片方の足を、勢いを付けずにゆっくりと最大限まで前後に動かすことである。この運動の目的は、股関節が円滑に動くようにすることにある。
　この場合、画像処理部１２０は、骨格情報から、足の上下稼働範囲を算出する。そして、出力部１３０は、今回算出した上下可動範囲と、本人の過去の上下稼働範囲との差分を算出し、この差分を用いて、運動機能改善量を評価する。
　なお、第１動作情報及び推奨動作の双方が「膝伸ばし振り」であってもよい。この動作は、対象者が椅子に座った状態で、片方の足を真っ直ぐにした状態で小刻みに上下に足を振ることである。この動かす速度が速くなるにつれて、対象者への負荷は大きくなる。また、足を高く上げると、さらにたくさんの筋肉が動くことになる。この運動の目的は、膝の動きを安定させることにある。
　この場合、画像処理部１２０は、骨格情報から指定時間内における足の上下回数の算出し、運動量及び負荷量を評価する。
　対象者情報記憶部１４０は、対象者に関する様々な情報を記憶している。対象者情報記憶部１４０が記憶している情報の詳細例については、他の図を用いて後述する。
　評価基準記憶部１５０は、リハビリテーションの効果を判断するために必要な情報を記憶している。例えば評価基準記憶部１５０は、体の部位及びステージ別に、リハビリテーションの効果を出力するためのモデルを記憶している。このモデルは、例えば、説明変数を第１動作情報、比較動作情報、及び差分の少なくとも一つとして、目的変数をリハビリテーションの進捗度合いを示す情報とした、機械学習により生成される。ここで進捗度合いは、例えば進捗率（例えば％）で示されてもよいし、完了／未完了の２値で示されてもよい。
　参照情報記憶部１６０は、出力情報を生成するために必要な情報を記憶している。この情報の一例は、推奨動作を示す情報である。参照情報記憶部１６０が記憶している情報の詳細例については、他の図を用いて後述する。
　図４は、対象者情報記憶部１４０が記憶している情報の一例を示す図である。本図に示す例において、対象者情報記憶部１４０は、以下の少なくとも一つを記憶している。
・対象者の氏名
・対象者識別情報。この情報の一例は、対象者ＩＤである。
・対象者の属性。例えば対象者の年齢、性別、身長、体重、日常生活機能（Barthel　Index）、握力、片足立ち時間、ＴＵＧテストの所要時間などの結果、継ぎ足歩行テストの結果、片足立位テストの結果、及びボルグバランススケールの少なくとも一つ。介護が必要な人の場合、属性はさらに介護レベルを含んでいるのが好ましい。
・過去に動作情報生成装置１０から取得した画像（第１画像）及びこれに基づいた動作情報（第１動作情報）。これらは、第２画像及び比較動作情報として用いられる。
・画像を取得した時のリハビリテーションのステージ
・画像とともに取得した入力情報のうち、ステージ以外の情報
・画像別の出力情報
・画像別のアドバイス情報
　上記した情報のうち、対象者の属性は、定期的に、例えば３か月ごとに更新されてもよい。
　図５は、参照情報記憶部１６０が記憶している情報の一例を示す図である。本図に示す例において、参照情報記憶部１６０は、体の部位別に、推奨動作を示す情報を記憶している。この情報は、推奨動作を説明するテキスト情報、及び推奨動作を直接示す画像情報を含んでいるのが好ましい。画像情報は、静止画及び動画の少なくとも一方を含んでいる。また本図に示す例において、参照情報記憶部１６０は、推奨動作を示す情報を、体の部位別かつリハビリテーションのステージ別に記憶している。
　図６は、出力部１３０が判断者端末３０又は利用者端末２０に出力する出力情報の第１例を示す図である。本図に示す例において、出力情報は、対象者の基本情報を表示する第１欄２００、身体の問題部位、例えば痛みがある部位を示す第２欄２０２、対象者及び家族のコメントを示す第３欄２０４、及び第１のセラピストのコメントを示す第４欄２０６を含んでいる。
　出力部１３０は、第１欄２００に示される情報を、対象者情報記憶部１４０から取得する。また出力部１３０は、情報取得部１１０が取得した入力情報を用いて、第２欄２０２、第３欄２０４、及び第４欄２０６に示される情報を生成する。
　図７は、出力部１３０が判断者端末３０又は利用者端末２０に出力する出力情報の第２例を示す図である。本図に示す例において、出力情報は、リハビリテーションの目的及びこの目的を達成するための包括的なアドバイスを含んでいる。出力部１３０は、本図に示す情報を、例えば情報取得部１１０が取得した入力情報を用いて生成する。なお、出力部１３０は、本図に示す情報の一部を対象者情報記憶部１４０又は参照情報記憶部１６０から取得してもよい。
　図８は、出力部１３０が判断者端末３０又は利用者端末２０に出力する出力情報の第３例を示す図である。本図に示す例において、出力情報は、第１のセラピストから第２のセラピストへの質問を表示する第５欄２２０、及びこれに対する回答を第２のセラピストが入力するための第６欄２２２を含んでいる。第６欄２２２に入力された情報は、アドバイス情報の一部として、判断者端末３０又は利用者端末２０から動作情報生成装置１０に送信される。
　図９は、出力部１３０が判断者端末３０又は利用者端末２０に出力する出力情報の第４例を示す図である。本図に示す例において、出力情報は、推奨動作を示す第７欄２３０、及び推奨動作の目的を示す第８欄２３４を含んでいる。出力部１３０は、これらの欄に示す情報を、参照情報記憶部１６０から取得する。ここで第８欄２３４は、第２のセラピストによって更新可能になっていてもよい。この場合、更新後の情報は、アドバイス情報の一部として、判断者端末３０又は利用者端末２０から動作情報生成装置１０に送信される。
　第７欄２３０は、さらに推奨動作を示す画像を表示する第９欄２３２を含んでいる。第９欄２３２に示される画像は、静止画でもよいし、動画でもよい。前者の場合、第９欄２３２が選択されると、この第９欄２３２にいて動画が再生されるようにしてもよい。
　図１０は、出力部１３０が判断者端末３０又は利用者端末２０に出力する出力情報の第５例を示す図である。本図に示す例において、出力情報は第１動作情報を示す第１０欄２５０及び比較動作情報を含む第１１欄２５２を含んでいる。第１０欄２５０において、第１画像には、骨格情報が重ねて表示されていてもよい。また第１１欄２５２において、比較動作情報の基になった画像、例えば第２画像には、骨格情報が重ねて表示されていてもよい。
　なお、図１０に示した各欄において、骨格情報のみが表示されてもよいし、画像のみが表示されてもよい。前者の場合、第１動作情報としての骨格情報と、第２動作情報としての骨格情報は、互いに重ねて表示されてもよい。
　なお、図６～図１０に示した出力情報の少なくとも一部は、判断者端末３０を介して第２のセラピストによって修正された後、アドバイス情報の少なくとも一部として、動作情報生成装置１０に送信される。
　図１１は、動作情報生成装置１０のハードウェア構成例を示す図である。動作情報生成装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどのリムーバブルメディア、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は動作情報生成装置１０の各機能（例えば情報取得部１１０、画像処理部１２０、及び出力部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は対象者情報記憶部１４０、評価基準記憶部１５０、及び参照情報記憶部１６０の少なくとも一つとしても機能する。
　入出力インタフェース１０５０は、動作情報生成装置１０と各種入出力機器とを接続するためのインタフェースである。
　ネットワークインタフェース１０６０は、動作情報生成装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。動作情報生成装置１０は、ネットワークインタフェース１０６０を介して利用者端末２０及び判断者端末３０と通信してもよい。
　図１２は、動作情報生成装置１０が行う処理の一例を示すフローチャートである。まず利用者端末２０の利用者は、必要な情報を入力する。そして利用者端末２０は、この情報を入力情報として動作情報生成装置１０に送信する。入力情報は、上記したように、第１画像を含んでいる。ここで入力情報は、複数の第１画像を含んでいてもよい。この場合、複数の第１画像、例えば複数の動画を含んでいてもよい。これら複数の第１画像は同一の対象者が行った同一の動作を示している。
　動作情報生成装置１０の情報取得部１１０は、この入力情報を取得する（ステップＳ１０）。そして画像処理部１２０は、第１画像を処理することにより、第１動作情報を生成する（ステップＳ２０）。ここで画像処理部１２０は、複数の第１画像それぞれから第１動作情報を生成してもよい。
　次いで出力部１３０は、比較動作情報を対象者情報記憶部１４０又は参照情報記憶部１６０から読み出し、読み出した比較動作情報と第１動作情報の差分を特定する（ステップＳ３０）。そして出力部１３０は、この差分に関する出力情報を生成する。出力情報の具体例は、図２、及び図６～図１０を用いて説明した通りである。この際、出力部１３０は、評価基準記憶部１５０が記憶している情報を用いて、リハビリテーションの進捗度合いを示す情報を生成し、この情報を出力情報に含めてもよい（ステップＳ４０）。ここで出力部１３０は、複数の第１画像それぞれから第１動作情報が生成された場合、出力情報に統計処理の結果を含んでもよい。
　そして出力部１３０は、出力情報を判断者端末３０に出力するとともに、対象者情報記憶部１４０に記憶させる。ここで出力部１３０は、出力情報を利用者端末２０に出力してもよい（ステップＳ５０）。
　第２のセラピストは、判断者端末３０を用いて出力情報を確認する。そして第２のセラピストは、この出力情報を用いてアドバイス情報を生成する。例えば第２のセラピストは、この出力情報の少なくとも一部を加工することにより、アドバイス情報を生成する。そして判断者端末３０は、アドバイス情報を動作情報生成装置１０に送信する。
　動作情報生成装置１０の情報取得部１１０は、このアドバイス情報を取得する（ステップＳ６０）。そして情報取得部１１０は、このアドバイス情報を利用者端末２０に送信するとともに、対象者情報記憶部１４０に記憶させる（ステップＳ７０）。
　以上、本実施形態によれば、出力情報は、第１タイミングにおける対象者の動きを示す第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分に関している。このため、対象者のリハビリを支援する人や対象者は、この出力情報を用いることにより、リハビリテーションを適切に行うことができる。一例として、第２のセラピストは、出力情報を用いることにより、容易にアドバイス情報を生成できる。そして対象者のリハビリを支援する人や対象者は、第２のセラピストすなわち経験が豊富なセラピストのアドバイスに基づいて、リハビリテーションを実行できる。
　また第２のセラピストは対象者がいる施設に移動しなくてよい。このため、第２のセラピストが担当可能な対象者の数は多くなる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
　１．第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理手段と、
　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する出力手段と、
を備える動作情報生成装置。
２．上記１に記載の動作情報生成装置において、
　前記比較動作情報は、前記第１タイミングよりも前である第２タイミングにおいて対象者を撮影した第２画像を処理することにより生成されている、動作情報生成装置。
３．上記１に記載の動作情報生成装置において、
　前記比較動作情報は、前記対象者とは異なる人である基準者を撮影した第３画像を処理することにより生成されている、動作情報生成装置。
４．上記２に記載の動作情報生成装置において、
　前記画像処理手段は、前記第２画像を処理することにより前記比較動作情報を生成する、動作情報生成装置。
５．上記１～４のいずれか一項に記載の動作情報生成装置において、
　前記第１タイミングは、前記対象者がリハビリテーション訓練を行った後であり、
　前記出力情報は、前記対象者が行うべき動作である推奨動作を含む、動作情報生成装置。
６．上記５に記載の動作情報生成装置において、
　前記差分は、体の複数の部位ごとに生成され、
　前記出力情報は、前記複数の部位別に前記推奨動作を含んでいる、動作情報生成装置。
７．上記５又は６に記載の動作情報生成装置において、
　さらに、前記対象者のリハビリテーション訓練のステージを示すステージ情報を取得する情報取得手段を備え、
　前記出力手段は、前記ステージ情報を用いて前記推奨動作を決定する、動作情報生成装置。
８．上記５～７のいずれか一項に記載の動作情報生成装置において、
　前記出力情報は、前記第１動作情報及び前記比較動作情報を含む、動作情報生成装置。
９．上記１～８のいずれか一項に記載の動作情報生成装置において、
　前記第１画像は複数の静止画像を含んでおり、
　前記画像処理手段は、前記複数の静止画像毎に、前記対象者の骨格情報を生成し、当該骨格情報を用いて前記第１動作情報を生成する、動作情報生成装置。
１０．上記１～９のいずれか一項に記載の動作情報生成装置において、
　前記第１動作情報は、下記の少なくとも一つを含む、動作情報生成装置。
・特定の動作における少なくとも一つの関節点の位置
・特定の動作における少なくとも一つの関節点の移動ベクトル
・特定の動作における少なくとも２つの関節点の相対位置
１１．端末と、動作情報生成装置と、を備え、
　前記動作情報生成装置は、
　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理手段と、
　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を前記端末に出力する出力手段と、
を備え、
　前記端末は、前記出力情報を表示または印刷する、動作情報生成システム。
１２．上記１１に記載の動作情報生成システムにおいて、
　前記比較動作情報は、前記第１タイミングよりも前である第２タイミングにおいて対象者を撮影した第２画像を処理することにより生成されている、動作情報生成システム。
１３．上記１１に記載の動作情報生成システムにおいて、
　前記比較動作情報は、前記対象者とは異なる人である基準者を撮影した第３画像を処理することにより生成されている、動作情報生成システム。
１４．上記１２に記載の動作情報生成システムにおいて、
　前記画像処理手段は、前記第２画像を処理することにより前記比較動作情報を生成する、動作情報生成システム。
１５．上記１１～１４のいずれか一項に記載の動作情報生成システムにおいて、
　前記第１タイミングは、前記対象者がリハビリテーション訓練を行った後であり、
　前記出力情報は、前記対象者が行うべき動作である推奨動作を含む、動作情報生成システム。
１６．上記１５に記載の動作情報生成システムにおいて、
　前記差分は、体の複数の部位ごとに生成され、
　前記出力情報は、前記複数の部位別に前記推奨動作を含んでいる、動作情報生成システム。
１７．上記１５又は１６に記載の動作情報生成システムにおいて、
　さらに、前記対象者のリハビリテーション訓練のステージを示すステージ情報を取得する情報取得手段を備え、
　前記出力手段は、前記ステージ情報を用いて前記推奨動作を決定する、動作情報生成システム。
１８．上記１５～１７のいずれか一項に記載の動作情報生成システムにおいて、
　前記出力情報は、前記第１動作情報及び前記比較動作情報を含む、動作情報生成システム。
１９．上記１１～１８のいずれか一項に記載の動作情報生成システムにおいて、
　前記第１画像は複数の静止画像を含んでおり、
　前記画像処理手段は、前記複数の静止画像毎に、前記対象者の骨格情報を生成し、当該骨格情報を用いて前記第１動作情報を生成する、動作情報生成システム。
２０．上記１１～１９のいずれか一項に記載の動作情報生成システムにおいて、
　前記第１動作情報は、下記の少なくとも一つを含む、動作情報生成システム。
・特定の動作における少なくとも一つの関節点の位置
・特定の動作における少なくとも一つの関節点の移動ベクトル
・特定の動作における少なくとも２つの関節点の相対位置
２１．コンピュータが、
　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成し、
　　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する、動作情報生成方法。
２２．上記２１に記載の動作情報生成方法において、
　前記比較動作情報は、前記第１タイミングよりも前である第２タイミングにおいて対象者を撮影した第２画像を処理することにより生成されている、動作情報生成方法。
２３．上記２１に記載の動作情報生成方法において、
　前記比較動作情報は、前記対象者とは異なる人である基準者を撮影した第３画像を処理することにより生成されている、動作情報生成方法。
２４．上記２２に記載の動作情報生成方法において、
　前記コンピュータは、前記第２画像を処理することにより前記比較動作情報を生成する、動作情報生成方法。
２５．上記２１～２４のいずれか一項に記載の動作情報生成方法において、
　前記第１タイミングは、前記対象者がリハビリテーション訓練を行った後であり、
　前記出力情報は、前記対象者が行うべき動作である推奨動作を含む、動作情報生成方法。
２６．上記２５に記載の動作情報生成方法において、
　前記差分は、体の複数の部位ごとに生成され、
　前記出力情報は、前記複数の部位別に前記推奨動作を含んでいる、動作情報生成方法。
２７．上記２５又は２６に記載の動作情報生成方法において、
　前記コンピュータは、
　　さらに、前記対象者のリハビリテーション訓練のステージを示すステージ情報を取得し、
　　前記ステージ情報を用いて前記推奨動作を決定する、動作情報生成方法。
２８．上記２５～２７のいずれか一項に記載の動作情報生成方法において、
　前記出力情報は、前記第１動作情報及び前記比較動作情報を含む、動作情報生成方法。
２９．上記２１～２８のいずれか一項に記載の動作情報生成方法において、
　前記第１画像は複数の静止画像を含んでおり、
　前記コンピュータは、前記複数の静止画像毎に、前記対象者の骨格情報を生成し、当該骨格情報を用いて前記第１動作情報を生成する、動作情報生成方法。
３０．上記２１～２９のいずれか一項に記載の動作情報生成方法において、
　前記第１動作情報は、下記の少なくとも一つを含む、動作情報生成方法。
・特定の動作における少なくとも一つの関節点の位置
・特定の動作における少なくとも一つの関節点の移動ベクトル
・特定の動作における少なくとも２つの関節点の相対位置
３１．コンピュータに、
　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理と、
　　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する出力処理と、
を行わせるプログラムを記憶した、コンピュータで読み取り可能な記録媒体。
３２．上記３１に記載の記録媒体において、
　前記比較動作情報は、前記第１タイミングよりも前である第２タイミングにおいて対象者を撮影した第２画像を処理することにより生成されている、記録媒体。
３３．上記３１に記載の記録媒体において、
　前記比較動作情報は、前記対象者とは異なる人である基準者を撮影した第３画像を処理することにより生成されている、記録媒体。
３４．上記３２に記載の記録媒体において、
　前記画像処理機能は、前記第２画像を処理することにより前記比較動作情報を生成する、記録媒体。
３５．上記３１～３４のいずれか一項に記載の記録媒体において、
　前記第１タイミングは、前記対象者がリハビリテーション訓練を行った後であり、
　前記出力情報は、前記対象者が行うべき動作である推奨動作を含む、記録媒体。
３６．上記３５に記載の記録媒体において、
　前記差分は、体の複数の部位ごとに生成され、
　前記出力情報は、前記複数の部位別に前記推奨動作を含んでいる、記録媒体。
３７．上記３５又は３６に記載の記録媒体において、
　前記プログラムは、前記コンピュータに、さらに、前記対象者のリハビリテーション訓練のステージを示すステージ情報を取得する情報取得機能を持たせ、
　前記出力機能は、前記ステージ情報を用いて前記推奨動作を決定する、記録媒体。
３８．上記３５～３７のいずれか一項に記載の記録媒体において、
　前記出力情報は、前記第１動作情報及び前記比較動作情報を含む、記録媒体。
３９．上記３１～３８のいずれか一項に記載の記録媒体において、
　前記第１画像は複数の静止画像を含んでおり、
　前記画像処理機能は、前記複数の静止画像毎に、前記対象者の骨格情報を生成し、当該骨格情報を用いて前記第１動作情報を生成する、記録媒体。
４０．上記３１～３９のいずれか一項に記載の記録媒体において、
　前記第１動作情報は、下記の少なくとも一つを含む、記録媒体。
・特定の動作における少なくとも一つの関節点の位置
・特定の動作における少なくとも一つの関節点の移動ベクトル
・特定の動作における少なくとも２つの関節点の相対位置
４１．上記３１～４０のいずれか一項に記載のプログラム。
１０　　　　動作情報生成装置
２０　　　　利用者端末
３０　　　　判断者端末
１１０　　　　情報取得部
１２０　　　　画像処理部
１３０　　　　出力部
１４０　　　　対象者情報記憶部
１５０　　　　評価基準記憶部
１６０　　　　参照情報記憶部

Claims (13)

  1. 　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理手段と、
    　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する出力手段と、
    を備える動作情報生成装置。
  2. 　請求項１に記載の動作情報生成装置において、
    　前記比較動作情報は、前記第１タイミングよりも前である第２タイミングにおいて対象者を撮影した第２画像を処理することにより生成されている、動作情報生成装置。
  3. 　請求項１に記載の動作情報生成装置において、
    　前記比較動作情報は、前記対象者とは異なる人である基準者を撮影した第３画像を処理することにより生成されている、動作情報生成装置。
  4. 　請求項２に記載の動作情報生成装置において、
    　前記画像処理手段は、前記第２画像を処理することにより前記比較動作情報を生成する、動作情報生成装置。
  5. 　請求項１～４のいずれか一項に記載の動作情報生成装置において、
    　前記第１タイミングは、前記対象者がリハビリテーション訓練を行った後であり、
    　前記出力情報は、前記対象者が行うべき動作である推奨動作を含む、動作情報生成装置。
  6. 　請求項５に記載の動作情報生成装置において、
    　前記差分は、体の複数の部位ごとに生成され、
    　前記出力情報は、前記複数の部位別に前記推奨動作を含んでいる、動作情報生成装置。
  7. 　請求項５又は６に記載の動作情報生成装置において、
    　さらに、前記対象者のリハビリテーション訓練のステージを示すステージ情報を取得する情報取得手段を備え、
    　前記出力手段は、前記ステージ情報を用いて前記推奨動作を決定する、動作情報生成装置。
  8. 　請求項５～７のいずれか一項に記載の動作情報生成装置において、
    　前記出力情報は、前記第１動作情報及び前記比較動作情報を含む、動作情報生成装置。
  9. 　請求項１～８のいずれか一項に記載の動作情報生成装置において、
    　前記第１画像は複数の静止画像を含んでおり、
    　前記画像処理手段は、前記複数の静止画像毎に、前記対象者の骨格情報を生成し、当該骨格情報を用いて前記第１動作情報を生成する、動作情報生成装置。
  10. 　請求項１～９のいずれか一項に記載の動作情報生成装置において、
    　前記第１動作情報は、下記の少なくとも一つを含む、動作情報生成装置。
    ・特定の動作における少なくとも一つの関節点の位置
    ・特定の動作における少なくとも一つの関節点の移動ベクトル
    ・特定の動作における少なくとも２つの関節点の相対位置
  11. 　端末と、動作情報生成装置と、を備え、
    　前記動作情報生成装置は、
    　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理手段と、
    　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を前記端末に出力する出力手段と、
    を備え、
    　前記端末は、前記出力情報を表示または印刷する、動作情報生成システム。
  12. 　コンピュータが、
    　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成し、
    　　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する、動作情報生成方法。
  13. 　コンピュータに、
    　　第１タイミングにおいて対象者を撮影した第１画像を処理することにより、前記第１タイミングにおける前記対象者の動きを示す第１動作情報を生成する画像処理と、
    　　前記第１動作情報と、比較対象となる動作を示す比較動作情報と、の差分を特定し、当該差分に関する情報である出力情報を出力する出力処理と、
    を行わせるプログラムを記憶した、コンピュータで読み取り可能な記録媒体。
PCT/JP2022/016540 2022-03-31 2022-03-31 動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体 Ceased WO2023188280A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024511038A JPWO2023188280A5 (ja) 2022-03-31 動作情報生成装置、動作情報生成方法、及びプログラム
US18/711,254 US20250005770A1 (en) 2022-03-31 2022-03-31 Movement information generation apparatus, movement information generation system, movement information generation method, and storage medium
PCT/JP2022/016540 WO2023188280A1 (ja) 2022-03-31 2022-03-31 動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/016540 WO2023188280A1 (ja) 2022-03-31 2022-03-31 動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023188280A1 true WO2023188280A1 (ja) 2023-10-05

Family

ID=88199853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/016540 Ceased WO2023188280A1 (ja) 2022-03-31 2022-03-31 動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体

Country Status (2)

Country Link
US (1) US20250005770A1 (ja)
WO (1) WO2023188280A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215177A (ja) * 1995-02-08 1996-08-27 Fujitsu Ltd 運動支援システム及び運動支援方法
JP2006302122A (ja) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP2013103010A (ja) * 2011-11-15 2013-05-30 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2015119833A (ja) * 2013-12-24 2015-07-02 カシオ計算機株式会社 運動支援システム及び運動支援方法、運動支援プログラム
WO2021054399A1 (ja) * 2019-09-20 2021-03-25 日本電気株式会社 情報生成装置、情報生成方法、及び、記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215177A (ja) * 1995-02-08 1996-08-27 Fujitsu Ltd 運動支援システム及び運動支援方法
JP2006302122A (ja) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP2013103010A (ja) * 2011-11-15 2013-05-30 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2015119833A (ja) * 2013-12-24 2015-07-02 カシオ計算機株式会社 運動支援システム及び運動支援方法、運動支援プログラム
WO2021054399A1 (ja) * 2019-09-20 2021-03-25 日本電気株式会社 情報生成装置、情報生成方法、及び、記録媒体

Also Published As

Publication number Publication date
US20250005770A1 (en) 2025-01-02
JPWO2023188280A1 (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
JP7263432B2 (ja) 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
Thar et al. A proposal of yoga pose assessment method using pose detection for self-learning
Da Gama et al. Motor rehabilitation using Kinect: a systematic review
Görer et al. An autonomous robotic exercise tutor for elderly people
Bleser et al. A personalized exercise trainer for the elderly
Fernandez-Cervantes et al. VirtualGym: A kinect-based system for seniors exercising at home
Schönauer et al. Full body interaction for serious games in motor rehabilitation
Görer et al. A robotic fitness coach for the elderly
US20120000300A1 (en) Body condition evaluation apparatus, condition estimation apparatus, stride estimation apparatus, and health management system
Su Developing and evaluating effectiveness of 3D game-based rehabilitation system for Total Knee Replacement Rehabilitation patients
JP2019154489A (ja) 運動能力評価システム
Wang et al. Ubiphysio: Support daily functioning, fitness, and rehabilitation with action understanding and feedback in natural language
Kim et al. Weightlifting load effect on intra-limb coordination of lower extremity during pull phase in snatch: Vector coding approach
Vasco et al. HR1 robot: An assistant for healthcare applications
Hirasawa et al. Promotion system for home-based squat training using openpose
JP2006309627A (ja) 健康運動処方システム
JP2021090779A (ja) 筋の状態を評価するためのプログラム、コンピュータ装置、及びシステム、並びに筋の状態の評価方法
US20240266053A1 (en) Computer system, method, and program for estimating condition of subject
Nakashima et al. Development of a comprehensive method for musculoskeletal simulation in swimming using motion capture data
WO2023188280A1 (ja) 動作情報生成装置、動作情報生成システム、動作情報生成方法、及び記録媒体
Tannous et al. Cognitive and functional rehabilitation using serious games and a system of systems approach
Rodríguez-Fernández et al. Immersive virtual reality for learning exoskeleton-like virtual walking: a feasibility study
JP6832429B2 (ja) 筋の状態を評価するためのプログラム、コンピュータ装置、及びシステム、並びに筋の状態の評価方法
Chiensriwimol et al. Frozen shoulder rehabilitation: exercise simulation and usability study
Aishwarya et al. Identification of Improper Posture in Female Bharatanatyam Dancers-A Computational Approach

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935423

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18711254

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2024511038

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22935423

Country of ref document: EP

Kind code of ref document: A1