[go: up one dir, main page]

CN116507276A - 用于机器学习以从图像分析肌肉骨骼康复的方法和设备 - Google Patents

用于机器学习以从图像分析肌肉骨骼康复的方法和设备 Download PDF

Info

Publication number
CN116507276A
CN116507276A CN202180073714.3A CN202180073714A CN116507276A CN 116507276 A CN116507276 A CN 116507276A CN 202180073714 A CN202180073714 A CN 202180073714A CN 116507276 A CN116507276 A CN 116507276A
Authority
CN
China
Prior art keywords
images
representations
bone
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180073714.3A
Other languages
English (en)
Inventor
J·罗毕拉德
A·迪亚兹-阿里亚斯
M·梅斯莫尔
D·辛
J·拉希德
S·白
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Iowa Research Foundation UIRF
Intel Corp
Original Assignee
University of Iowa Research Foundation UIRF
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Iowa Research Foundation UIRF, Intel Corp filed Critical University of Iowa Research Foundation UIRF
Priority claimed from PCT/US2021/049876 external-priority patent/WO2022056271A1/en
Publication of CN116507276A publication Critical patent/CN116507276A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Mathematical Physics (AREA)
  • Rheumatology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)

Abstract

一种方法可以包含接收(1)至少一个对象的图像和(2)所述至少一个对象的至少一个总质量值。所述方法可以进一步包含执行第一机器学习模型以标识所述至少一个对象的关节。所述方法可以进一步包含执行第二机器学习模型以基于所述关节和所述图像来确定所述至少一个对象的肢。所述方法可以进一步包含基于所述关节和所述肢来生成骨骼的三维(3D)表示。所述方法可以进一步包含基于质量值和线性加速度值或扭矩惯性和角加速度值中的至少一者来确定每个肢的扭矩值。所述方法可以进一步包含基于至少一个扭矩值高于预定阈值来生成风险评估报告。

Description

用于机器学习以从图像分析肌肉骨骼康复的方法和设备
相关申请
本申请涉及2020年9月11日提交的题为“从单目图像重建身体姿势以进行风险缓解的工效学评估的无标志物系统和方法(Marker-Less System and Method toReconstruct Body-Posture from Monocular Images to Perform ErgonomicAssessment for Risk Mitigation)”的专利申请第63/077,335号和2021年6月4日提交的题为“使用非侵入性数据采集进行肌肉骨骼康复的系统和方法(System and Method toAccess Musculo-Skeletal Rehabilitation Using Non-intrusive Data Gathering)”的专利申请第63/202,298号。出于所有目的，上述申请的公开内容通过引用并入本文。
技术领域
本公开涉及人工智能和/或机器学习领域，尤其涉及用于基于从摄像头收集的图像和/或视频来分析肌肉骨骼康复的机器学习方法和设备。
背景技术
肌肉骨骼病影响着美国二分之一的成年人，估计涉及1.266亿美国人，其年度治疗费用为2130亿美元。最普遍的肌肉骨骼病状是关节炎，每年影响超过5000万美国人，其中一半是65岁以上的成年人。预计到2030年，关节炎的流行将影响25％的成年人口，涉及约6700万人。2011年，据估计，肌肉骨骼病的年度治疗费用和工资损失超过2130亿美元，占国内生产总值(GDP)的1.4％。考虑到患有肌肉骨骼疾病(包含其它并发症)的人的所有费用，治疗这些个体的总费用加上以工资减少或损失形式出现的社会费用(间接费用)，其2011年估值为每年8738亿美元。
因此，肌肉骨骼病的负担是显著的，并且以如此多的方式影响着如此多的人的生活。为了控制与肌肉骨骼病状相关联的巨大社会和经济影响，美国骨与关节计划(UnitedStates Bone and Joint Initiative)建议，除了促进和资助研究之外，受影响的人群应获得循证治疗、医生和包含理疗师在内的其它保健提供者之间的更好的护理协调以及预防未来损伤的行之有效的策略。
物理疗法治疗预防/减少肌肉骨骼病状，有效治疗肌肉骨骼疼痛并且改善健康。但是，当人们停止锻炼时，便失去了物理疗法治疗的益处，这通常因疗程短且随访受限而发生。因此，理疗师的工作范围应扩大到家庭环境，并且理疗师和患者应更密切且更频繁地监控患者的进展(运动范围、强度、力量、耐力)、关节功能障碍和改善(疼痛、关节功能障碍、虚弱、疲劳、僵硬)。
尽管包含约27400个康复治疗实践中心的美国物理治疗行业估计在2020年有383亿美元的收入，并且预计在接下来的五年中每年增长约3％，但是以可承受的成本向大量人群提供物理疗法护理的障碍之一仍然是相对于人口需求的理疗师的缺乏、患者的成本以及不能持续跟踪患者的进展。因此，需要用于物理疗法的经改善的方法和设备。
发明内容
在一些实施例中，一种方法包含接收(1)至少一个对象的图像和(2)所述至少一个对象的至少一个总质量值。所述方法进一步包含执行第一机器学习模型以标识所述至少一个对象的关节。所述方法进一步包含执行第二机器学习模型以基于所述关节和所述图像来确定所述至少一个对象的肢。所述方法进一步包含基于所述关节和所述肢来生成骨骼的三维(3D)表示。所述方法可以进一步包含基于质量值和线性加速度值或扭矩惯性和角加速度值中的至少一者来确定每个肢的扭矩值。所述方法进一步包含基于至少一个扭矩值高于预定阈值来生成风险评估报告。
附图说明
图1是根据一个实施例的肌肉骨骼康复装置的框图。
图2是示出了根据一个实施例的用于从一组图像分析肌肉骨骼康复的方法的流程图。
图3是根据一个实施例的用于从一组图像分析对象的肌肉骨骼康复的方法的示意图。
图4是根据一个实施例的用于检测一组对象并且跨帧跟踪一组对象的方法的示意图。
图5是根据一个实施例的用于估计一组姿态的方法的示意图。
图6是根据一个实施例的用于确定背部关节上的静态载荷的方法的示意图。
图7是根据一个实施例的用于将静态姿态数据和动态姿态数据分类到风险损伤类别中的分类模型的示意图。
图8是根据一个实施例的用于单目图像生成的方法的示意图。
具体实施方式
本文描述了实施例的各个方面和变化的非限制性实例，并且将其在附图中示出。
缺乏及时准确的反馈和健康护理专业人员的实时监督经常被认为是解释理疗期间改善缓慢和患者失去动力和参与意愿的最有影响的因素。此外，物理疗法评估经常在预约之间间歇地进行；这些评估可能是主观的、耗时的并且可能因治疗师而有所不同。为了改善理疗的效果，一些已知的装置和方法已经使用了远程康复、远程保健、基于视频游戏的锻炼、机器人辅助装置、外骨骼、触觉装置和/或可穿戴装置，但成效有限。例如，人口的老龄化、日益增长的对身体活动的兴趣以及对控制卫生保健成本的更广泛关注增加了开发允许患者在方便时进行锻炼并且同时可被持续监控的系统的需求，并且导致了美国对理疗师的需求的增加。
一些已知的物理治疗方法和设备使用测角仪来测量单个关节角度在单个时间的运动，并且随后评估患者在治疗期间的进展。对运动范围(ROM)的评估和精确记录ROM的改善或变化的能力可以有助于确定患者在物理疗法期间的进展。这种评估可能是耗时的，并且涉及手动收集关于患者运动的数据。因此，这种评估可能是昂贵的，并且不总是允许在主动运动期间对患者进行客观、精确和准确的评估。
一些已知的物理治疗方法和设备已经证明，使用附接到患者身体并且与机器学习算法的应用相关联的传感器可以准确地测量关节角度的变化，并且允许监控和记录关节角度。已经开发了一些已知的用于机器人疗法的物理治疗方法和设备，以指导患者进行精确的运动，处理大量数据，并且向患者和治疗师提供关于渐进进展的量化信息。然而，这些方法存在一些局限性。首先，获取数据的技术通常相当昂贵。第二，数据的处理通常复杂而缓慢。第三，除了价格昂贵之外，传感器还经常会影响病人的运动。第四，机器人疗法系统通常不是为在家庭环境中使用而设计的，并且也可能很昂贵。第五，大多数康复疗程是在基于家庭的环境中进行的，这要求所使用的系统需简单并且允许准确的数据记录和快速的数据传输，以便理疗师连续监督患者的锻炼和进展。
本文描述的设备和方法是低成本的，不使用可穿戴/佩戴的传感器，并且可以对由摄像头捕捉的图像使用人工智能、计算机视觉和机器学习，以连续且准确地同时监控来自多个关节的ROM和力的变化。因此，本文描述的设备和方法可以在临床环境中或在家中使用，不需要理疗师来进行测量，并且消除了与测试者间可靠性或不正确的测角仪放置相关联的潜在误差。此外，本文描述的设备和方法可以具有基本上实时(例如，在不到一秒内)测量ROM以及同时且高准确度地测量来自多个关节的肌肉力量的变化的优点。此外，参与者不必穿戴传感器或特殊的装备或衣服来使用本文描述的设备和方法。
图1是根据一个实施例的肌肉骨骼康复装置110的框图。肌肉骨骼康复装置110(也被称为“计算装置”)包含存储器111、通信接口112和处理器113，并且可以用于存储、分析和传送一组图像(也被称为“帧组”)。肌肉骨骼康复装置110可以任选地例如经由网络150耦合到摄像头190和/或服务器170，以接收、传输、存储和/或处理图像。肌肉骨骼康复装置110使用的图像可以由摄像头190捕捉，存储在存储器111中，和/或从服务器170接收。例如，摄像头190可以捕捉没有穿戴任何运动传感器并且在康复训练锻炼期间的至少一个对象(例如，用户、患者、工作人员等)的视频。视频可以包含一组帧，并且可以存储在存储器111中，以由肌肉骨骼康复装置110进行分析。
肌肉骨骼康复装置110的存储器111可以是例如存储器缓冲器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存驱动器、安全数字(SD)存储器卡、外部硬盘驱动器、可擦除可编程只读存储器(EPROM)、嵌入式多次可编程(MTP)存储器、嵌入式多媒体卡(eMMC)、通用闪速存储(UFS)装置等。存储器111可以存储例如视频数据、图像数据、健康数据、医疗记录数据等。存储器111可以进一步存储一个或多个机器学习模型和/或包含使处理器113执行一个或多个过程或功能的指令的代码(例如，数据预处理器121、第一机器学习模型122、第二机器学习模型123、骨骼表示分析器124和/或风险报告器125)。
肌肉骨骼康复装置110的通信接口112可以是肌肉骨骼康复装置110的硬件组件，以便于肌肉骨骼康复装置110和外部装置(例如，摄像头190和/或服务器170)之间的数据通信。通信接口112可操作地耦合到处理器113和/或存储器111并且由处理器和/或存储器使用。通信接口112可以是例如网络接口卡(NIC)、模块、/>模块、光通信模块和/或任何其它合适的有线和/或无线通信接口。通信接口112可以被配置成将肌肉骨骼康复装置110连接到网络150。在一些例子中，通信接口112可以便于经由网络150从/向摄像头160和/或服务器170接收和/或传输数据(例如，视频数据、图像数据、健康数据、医疗记录数据等)。
处理器113可以是例如基于硬件的集成电路(IC)或被配置成运行或执行一组指令或一组代码的任何其它合适的处理装置。例如，处理器113可以包含通用处理器、中央处理单元(CPU)、加速处理单元(APU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、复杂可编程逻辑装置(CPLD)、可编程逻辑控制器(PLC)、图形处理单元(GPU)、神经网络处理器(NNP)等。处理器113可以通过系统总线(例如，地址总线、数据总线和/或控制总线；未示出)可操作地耦合到存储器111和/或通信接口112。处理器113包含数据预处理器121、第一机器学习模型122、第二机器学习模型123、骨骼表示分析器124和风险报告器125。在一些实施方案中，数据预处理器121、第一机器学习模型122、第二机器学习模型123、骨骼表示分析器124和/或风险报告器125中的每一个都可以包含由处理器113进行(和/或存储器111处存储，如上所讨论)的一组指令。在一些实施方案中，数据预处理器121、第一机器学习模型122、第二机器学习模型123、骨骼表示分析器124和/或风险报告器125中的每一个都可以包含处理器113中的进行一组指令的一个或多个集成电路(IC)。
数据预处理器121可以从摄像头190、存储器111和/或服务器170接收包含视频数据、图像数据、健康数据、医疗记录数据等的数据。例如，在一些例子中，数据预处理器可以接收来自摄像头的对象的视频(包含一组帧；也被称为“图像组”)和对象的总质量值的指示。数据预处理器121可以被配置成例如选择数据、组织数据和归一化数据。在一个实例中，数据预处理器121可以将来自数据的第一数据类型与来自数据的第二数据类型相关联，例如以生成用于训练第一机器学习模型和/或第二机器学习模型的训练数据集。第一数据类型可以是/包含例如图像数据类型、视频数据类型等，而第二数据类型可以是表示关节的坐标值、表示肢的向量等。在一些实施方案中，第一数据类型和第二数据类型的关联可以例如通过将来自第一数据类型的每个数据连接到第二数据类型的数据来完成。在一个实例中，数据预处理器121可以归一化一组图像以具有相同或相似的图像格式、图像大小、亮度水平、对比度水平等。
第一机器学习模型122可以包含第一组模型参数(例如，节点、权重、偏差等)，以便一旦训练了第一机器学习模型122，就可以执行它来从一组图像标识对象的一组关节。第一机器学习模型122可以是/包含例如卷积神经网络(CNN)、图形神经网络(GNN)、对抗网络模型、基于例子的训练模型、变换器神经网络、决策树集成、极端梯度提升(XGBoost)模型、随机森林模型、前馈机器学习模型、机器学习模型集成等。
在一个实例中，第一机器学习模型122可以是包含输入层、输出层和多个隐藏层(例如，5层、10层、20层、50层、100层、200层等)的卷积神经网络。多个隐藏层可以包含归一化层、全连接层、激活层、卷积层、下采样层、池化层和/或适合于表示进行康复锻炼的对象(例如，患者、康复中的个体等)的图像之间的相关性的任何其它层)，以及对象的关节的表示(例如，可以覆盖在患者的图像上的患者的关节的坐标和尺寸)。
第二机器学习模型123可以包含第二组模型参数(例如，节点、权重、偏差等)，其可以用于基于一组关节和一组图像确定对象的一组肢。可以基于一组关节和一组肢来生成一组骨骼三维(3D)表示，如本文中进一步详细描述。第二机器学习模型122可以是/包含例如卷积神经网络(CNN)、图形神经网络(GNN)、对抗网络模型、基于例子的训练模型、变换器神经网络、决策树集成、极端梯度提升(XGBoost)模型、随机森林模型、前馈机器学习模型、机器学习模型集成等。
骨骼表示分析器124可以对至少一个对象的一组骨骼3D表示进行数值微分，以产生来自至少一个对象的一组肢的每个肢的线性加速度值和角加速度值。骨骼表示分析器124可以基于至少一个对象的至少一个总质量值和骨骼3D表示来确定来自一组肢的每个肢的质量值和扭矩惯性值。骨骼表示分析器124可以进一步基于质量值和线性加速度值或扭矩惯性和角加速度值中的至少一者来从一组肢确定一组扭矩值。
风险报告器125可以基于来自一组扭矩值的至少一个扭矩值高于预定阈值来生成风险评估报告。在一些例子中，可以为一组关节分配一组预定全局阈值，并且将其存储(例如，在查找表中)在肌肉骨骼康复装置110的存储器111中。在一些例子中，肌肉骨骼康复装置110可以被配置成确定一组关节的上限安全水平。例如，在一些例子中，关节扭矩的总极限值(TLV)可以通过关节上的容许最大扭矩百分比和对象进行任务的持续时间之间的关系来获得。高于关节扭矩的TLV的关节扭矩可能会导致疲劳。对象可以进行重复任务，如例如用于康复的重复康复训练锻炼、机械的重复操作(例如，在工厂处)等。由至少一个对象进行的重复任务可以具有工作循环，该工作循环可以被定义为至少一个对象进行重复任务或锻炼的一个动作所花费的典型时间或平均时间。在一个实例中，至少一个对象可以花费20秒来进行重复康复训练锻炼的一个循环(工作循环)。在对象执行任务或锻炼的工作循环中的每个时刻，可以通过下面的等式计算容许最大扭矩百分比：
容许最大扭矩百分比可以乘以关节扭矩的TLV，以获得关节上的安全/容许扭矩的上限。
摄像头190可以是/包含视频捕捉摄像头和/或图像捕捉摄像头。摄像头190可以任选地包含存储器(未示出)、通信接口(未示出)和处理器(未示出)，它们在结构上和/或功能上类似于针对肌肉骨骼康复装置110示出和描述的存储器111、通信接口112和/或处理器113。摄像头190可以经由网络150可操作地耦合到肌肉骨骼康复装置110和/或服务器170。在一个实例中，摄像头190可以经由康复设施的安全Wi-FiTM网络可操作地耦合到肌肉骨骼康复装置110。摄像头190可以记录对象(例如，用户、患者等)的图像并且将对象的图像经由康复设施的安全Wi-FiTM网络发送到肌肉骨骼康复装置110。
服务器170可以是/包含特别适合于数据存储、数据处理和/或数据通信的一个或多个计算装置。例如，服务器170可以包含电子存储器网络、磁存储器网络、服务器、刀片服务器、存储区域网络、网络附加存储、深度学习计算服务器、深度学习存储服务器等。服务器170可以包含存储器171、通信接口172和/或处理器173，它们在结构上和/或功能上类似于针对肌肉骨骼康复装置110示出和描述的存储器111、通信接口112和/或处理器113。存储器171可以存储图像，处理器173可以分析图像(例如，裁剪、归一化、标识关节、确定扭矩等)，并且通信接口172可以经由网络150从/向肌肉骨骼康复装置110和/或摄像头190接收/传输数据。
在使用中，数据预处理器111可以从摄像头190、存储器111和/或服务器170接收一组图像(例如，视频流的视频帧的时间序列)。数据预处理器111可以准备一组图像(例如，将一组图像归一化为256像素乘256像素的图像大小)，以供肌肉骨骼康复装置110进一步处理。在一些实施方案中，肌肉骨骼康复装置110可以使用人检测器模型(也可以被称为“第三机器学习模型”；未示出)来在来自一组图像的每个图像中确定对象(例如，患者)存在的位置，并且可以随后对对象进行分类。人检测器模型可以是/包含卷积神经网络模型，并且被配置成解决单个回归问题。单个回归问题的自变量(人检测器模型的输入)可以是一组图像(每个图像包含一组对象)，并且单个回归问题的因变量(人检测器模型的输出)可以是对象周围的边界框坐标(例如，由4元组b＝(x,y,w,h)表示)和/或边界框坐标的概率值。概率值可以指示边界框围绕人(例如，患者)的图像的概率值。
在一些例子中，边界框可以是锚框，其预定义固定的纵横比和/或固定的尺度以简化人检测器模型。在一些例子中，使用锚定框可以减少边界框尺寸的可能组合的数量。在一个实例中，可以基于在用于训练人检测器模型的训练数据集中观察到的边界框例子的分布来选择五个锚框纵横比。对于人检测器模型，Hi×Wi网格中的每个位置可以产生五个边界框例子。人检测器模型可以被配置成使得对于来自五个边界框例子的每个边界框，还可以生成边界框偏移Δb＝(Δx,Δy,Δw,Δh)和图像中检测到的特征是人的概率。例如，在人检测器模型之后，可以实施通用主干特征提取器(例如，颈部网络)，以生成相对于锚框的边界框偏移。
人检测器模型的输出是针对来自一组图像的每个图像检测的一组边界框，并且对于一个或多个相邻图像(例如，图像之前和/或之后的视频帧的时间序列)是不可知的。在一些实施方案中，肌肉骨骼康复装置110可以使用跟踪模型(未示出)来跨一组图像标识至少一个对象。跟踪模型可以在时间上早于来自一组图像的每个其余图像的第一图像中初始化一组跟踪器。跟踪模型可以使用卡尔曼滤波器(或卡尔曼滤波器变体)来预测一组跟踪器在来自一组图像的后续图像中的发生。鉴于从人检测器模型和卡尔曼滤波器预测的一组边界框，则可以解决最优分配问题，使得跨一组图像的一组跟踪器与从一组图像生成的一组边界框匹配。此外，来自一组跟踪器的每个跟踪器可以被配置成包含外观模型或与外观模型相关联。外观模型可以将来自一组图像的视觉信息编码到特征向量中。然后，通过基于跟踪模型的一组跟踪器和由人检测器模型生成的一组边界框之间的距离来生成另外的跟踪器和/或合并现有跟踪器，可以使用特征向量来帮助解决分配问题。
然后，可以执行第一机器学习模型122来从一组图像标识至少一个对象的一组关节。在一些例子中，例如，第一机器学习模型122可以是深度全卷积神经网络(例如，包含10个卷积层、20个卷积层、100个卷积层、200个卷积层等的深度神经网络)。可以在检测网络中使用先前在人检测器模型之后使用的上述用于生成一组边界框的通用主干特征提取器来生成多尺度特征映射F。然后，可以将特征映射F馈送到三阶段迭代网络中，以生成部分亲和域(PAF)Pi(其中i＝1、2或3)。PAF表示一组图像中的身体部位之间的成对关系。在来自三阶段迭代网络的每一阶段之后，特征映射F可以与先前的部分亲和域预测连接以产生热图。在一些例子中，第一机器学习模型122可以包含卷积神经网络层，如例如7×7卷积层，其后是参数修正线性单元(PReLU)激活函数，以减少/避免消失的梯度和梯度饱和。此外，在一些例子中，第一机器学习模型122也可以使用跳跃连接来改善梯度流。
然后，可以执行第二机器学习模型123，以基于一组关节和一组图像来确定至少一个对象的一组肢。为了用在一组图像中检测到的一组关节构成骨骼，第二机器学习模型123可以使用部分亲和域(PAF)。鉴于由身体段连接的两种关节类型，第二机器学习模型123可以将所有可能的连接与一组图像中的与身体段相关联的PAF进行比较。在一个实例中，{Jk},{k1,2,...n}可以是第一关节类型的二维(2D)关节位置，并且{Rs}{s＝1,2,...m}可以是第二关节类型的2D关节位置。对于每个k和s，对从Jk到Rs的线段上的从Jk指向Rs的单位向量积分PAF的点积，可以产生关节对(肢)的匹配分数。为每个关节对分配分数可以产生加权二分图，计算如下：
其中P是从J关节到R关节的PAF，L是Jk和Rs之间的线段，并且是从Jk指向Rs的单位向量。可以应用匈牙利最大匹配算法来优化/改善关节之间(J关节到R关节)的匹配。在所有关节连接上运行PAF和匈牙利最大匹配算法可以从一组图像产生一组骨骼2D表示。
在一些实施方案中，一组骨骼2D表示是针对图像的时间序列(例如，包含相对于时间排序的帧/图像的视频)生成的。因此，在连续的图像/帧之间可能存在抖动或微小的差异，这可能在一组关节的波形图中表现为噪声。为了减少抖动，可以使用滤波器(例如，信号处理滤波器)来去除信号的不想要的分量(例如，去除不想要的测量噪声)。例如，可以使用在通带中具有尽可能平坦的频率响应的巴特沃斯(Butterworth)滤波器来减少干净/改善运动相关数据。巴特沃斯滤波器可以具有一组专门的参数，包含例如截止频率。为了获得良好/最佳的截止频率，在一些例子中，可以使用杰克逊算法。可以选择杰克逊算法的滤波器参数来保留一组骨骼2D表示的动力学性质。为了进一步平滑数据，可以将基于一组图像和/或视频的帧率初始化的最终中值滤波器和/或萨戈尔(Savgol)滤波器应用于一组骨骼2D表示，以在一组骨骼2D表示中获得更平滑/连续的2D姿态估计。此外，可以使用萨戈尔滤波器来提高2D姿态估计的精度。萨戈尔滤波器可以使用低次多项式对数据进行局部拟合，这可以产生平滑的波形，从而保留数据的重要方面。在一些例子中，为了生成更具鲁棒性的2D姿态估计，肌肉骨骼康复装置110可以通过将来自一组骨骼2D表示的骨骼表示与特定的边界框例子相关联来进行匹配，这是通过采用具有位于边界框中的最高数量的关节的骨骼来实现的。
在一些实施方案中，使用关节的匹配和匈牙利最大匹配算法生成的一组骨骼2D表示可以使用在上述跟踪模型中给出的一组跟踪器来在一组图像中逐帧跟踪。根据被跟踪的边界框，肌肉骨骼康复装置110可以通过检查骨骼点的阈值数量是否驻留在边界框中来确定来自一组骨骼2D表示的骨骼是否与边界框匹配。如果达到阈值，骨骼继承边界框的跟踪标识。可以使用对边界框中的骨骼包含的另外的分析来防止/减少由于边界框重叠而导致的骨骼的错误标识。在一些实施方案中，肌肉骨骼康复装置110可以为来自一组边界框的重叠边界框对分配交集分数，以确定重叠的显著性。成对地比较具有高交集分数的一组骨骼2D表示的坐标，可以改善对来自一组边界框的多个边界框中含有的骨骼的跟踪。
然后，肌肉骨骼康复装置110可以基于一组关节和一组肢来生成一组骨骼三维(3D)表示。肌肉骨骼康复装置110可以使用例如全卷积神经网络，其接受预定义窗口大小的输入轨迹并且随后回归一组图像的时间序列的中间帧的3D骨骼。在一个实例中，全卷积神经网络可以使用2048个3×3卷积滤波器和在3×3卷积滤波器之后进行批量归一化的1×1卷积滤波器。此外，在训练全卷积神经网络期间，可以使用跳跃连接来改善梯度流。例如，在一些例子中，可以使用161个图像的预设窗口大小。全卷积神经网络可以通过最小化以下来训练：
其中xi表示输入轨迹，yi表示中间帧的地面真实姿态，P表示透视投影，并且f是学习映射。在一些例子中，用相邻帧扩充输入可以提供另外的上下文并且改善生成这些骨骼表示组的整体性能。
在一些实施方案中，可以使用单目深度估计模型(也被称为“第三机器学习模型”)来编码物体(例如，患者、载荷等)相对于摄像头190的焦点中心的距离进行。单目深度估计网络可以从红-绿-蓝(RGB)颜色编码的一组图像接收图像(例如，图8中示出的图像810)，以生成被下采样两倍的单目图像(例如，图8中示出的图像820)。在一些例子中，单目深度估计网络可以是自动编码器。在一个实例中，单目深度估计模型可以使用来自包含具有3个卷积层的头部网络及其后的上采样层的密集连接卷积神经网络(DenseNet)主干的转移学习，以实现期望的输出分辨率。单目深度估计模型可以通过最小化以下损失函数来训练：
其中n表示一组图像中的图像的数量，y表示地面真实深度映射，并且f(x)是来自一组图像x的预测深度映射。最后，表示针对变量的梯度。
在一些实施方案中，来自单目深度估计模型的深度信息可以与摄像头参考图像中的一组关节的z坐标相关，以通过解决深度模糊来降低骨骼3D表示(也被称为3D姿态估计)的复杂度。在一些实施方案中，上述过程可以在根相对摄像头空间中进行。
骨骼3D表示(也被称为“骨骼的第一3D表示”)可以在笛卡尔坐标系中表示，该坐标系具有一组关节中的每个关节的(x,y,z)坐标表示。然而，骨骼也可以由旋转和平移矩阵来表示(也被称为“骨骼的第二3D表示”)。在骨骼中的第一关节处，3D坐标系以第一关节为中心，并且z轴与将关节连接到骨骼中的第二关节的线段一致。因为两个关节是由骨骼中的肢连接的，所以特殊的欧几里德矩阵可以将第一坐标系变换为第二坐标系。旋转和平移矩阵可以完全表示3D骨骼并且进一步提供关节角度和肢长度信息。例如，{Mj}{j＝1,2,..,k}是3D特殊欧几里德(SE)矩阵，其中k是骨骼中的关节的数量。为了使用SE矩阵重建根关节位置，可以将根关节矩阵M1应用于全局坐标系的原点，以得到一组关节的根关节的位置。将矩阵M2应用于根关节可以得到骨骼层次中的下一个关节。一般来说，第(J+1)个关节可以通过将积M1M2M3…MJ应用于根关节来获得。SE矩阵可以被分解为平移以及分别绕x、y和z坐标轴的三个旋转。因此，根据骨骼的SE矩阵表示，可以容易地确定一组关节角度。
然后，可以使用骨骼的一组关节角度来进行肌肉骨骼分析，以生成包含速度、加速度、扭矩等在内的动力学参数。因此，肌肉骨骼康复装置110可以包含通过特殊欧几里德矩阵的将3D笛卡尔坐标变换为等效表示的过程。这个过程也可以被称为反向动力学，并且不总是具有唯一解。为了获得/选择解，肌肉骨骼康复装置110可以进行迭代优化过程，该过程将反向动力学的结果与反向投影的正向动力学笛卡尔坐标进行比较。改善/最佳的解将是其中反向动力学和反向投影的正向动力学的组合映射会产生恒等映射的一个解。在每次迭代中，这一个解可以通过最小化标识和组合映射之间的距离的平方来改善。
例如，假设FK表示从SE(3)矩阵映射到笛卡尔坐标(R3)的正向动力学层，并且假设IK表示将R3映射到SE(3)的反向动力学层。对于每个特殊欧几里德矩阵M，迭代优化过程在R3中寻找相对应的点x以最小化损失：
L(x)＝|FK(IK(x))-x|
以对x的初步猜测开始。在每次迭代中，迭代优化过程在梯度方向上移动一小段距离，以找到x的更好近似：
∈是小正数。实际上，计算L的梯度并不简单，并且其计算成本可能很高。出于此原因，可以将布洛伊登-弗莱彻-戈德法布-香农算法用于无约束非线性优化问题。简而言之，该算法实施了上述梯度下降方法，其进一步由损失表面的曲率来提供信息，以降低算法的复杂度。
来自IK层(将R3映射到SE(3)的反向动力学层)的输出可以产生来自一组关节的每个关节的元组，即被称为欧拉角表示(Θx,Θy,Θz)。欧拉角表示可以与旋转矩阵R相关联。旋转矩阵R满足RRt＝RtR＝I，其中t表示转置操作，并且I表示恒等矩阵。所有3×3旋转矩阵的空间可以用SO(3)表示，并且其被称为特殊正交群。肌肉骨骼康复装置110可以包含神经网络(具有定制层)，该神经网络可以在自然3D人体姿态上的SO(3)的任意积上并且针对SO(3)×…×SO(3)上的黎曼损失进行训练。神经网络可以将被破坏的运动轨迹压缩到针对一组图像的时间维度的潜在空间，以揭示真实运动。神经网络可以对可能总是含有一定量的噪声的先前重建的运动进行去噪。实际上，神经网络可以学习有效的可关节运动的(articulable)人体姿态的空间，并且获取一个已经重建的可能无效的姿态并且可以将其投影到有效的姿态上。
从上面的IK优化得出并且随后进行平滑的欧拉角表示(也被称为“关节姿势信息”)的时间系列可以由θi(t)表示，其表示了运动i的关节角度θ随时间t的变化。可以使用数值微分来从关节姿势信息的时间系列生成关节运动速度值的时间系列，具体如下：
vi(t)＝(θi(t-1)-θi(t+1))/(2×Δt)
其中Δt是视频/图像记录帧率的倒数。在一些情况下，vi(t)的绝对值可以作为关节运动速度值的时间系列。
可以从θi(t)生成第一组暴露度量，包含但不限于平均关节姿势、累积关节姿势分布的第5、第10、第50、第90、第95和/或其它选择百分位数、关节姿势范围、第95和第5百分位数之间的差、第90和第10百分位数之间的差、记录视频在不同类别的关节姿势中的比例、具有中性关节姿势的记录视频的比例、具有极端关节姿势的记录视频的比例、中性关节姿势持续至少连续三秒的记录视频的比例或中性姿势持续至少连续三秒的每分钟周期数。在一些例子中，至少一个对象(例如，患者)可以输入根据需要定制的关节姿势分类方案。可替代地，可以得出“中性”和“极端”姿势的阈值。
可以从vi(t)生成第二组暴露度量，包含但不限于平均关节运动速度、累积关节运动速度分布的第5、第10、第50、第90和第95和/或其它选择百分位数、关节运动速度范围、第95和第5百分位数之间的差、第90和第10百分位数之间的差、具有低关节运动速度的记录视频的比例、具有高关节运动速度的记录视频的比例、低运动速度持续至少连续三秒的记录视频的比例或低运动速度持续至少连续三秒的每分钟周期数。此外，使用θi(t)和vi(t)的组合，可以生成第三组暴露度量，包含但不限于具有中性5姿势和低速度的记录视频的比例、中性姿势和低速度持续至少连续三秒的记录视频的比例以及中性姿势和低速度持续至少连续三秒的每分钟周期数。
可以使用骨骼3D表示以及至少一个对象的质量、与至少一个对象相互作用的物体的质量和位置来计算至少一个对象的关节的动态和静态关节扭矩。在一些实施方案中，至少一个对象的质量和/或与至少一个对象相互作用的物体的质量可以经由外围神经网络或经由用户输入获得。此外，可以使用骨骼3D表示来对每个关节上的最大扭矩值进行建模，该最大扭矩值又可以用于确定工作循环中的每个时间的总极限值。总极限值可以提供有用的疲劳指标，人体工程学家和安全管理人员可以使用它来例如改善工作场所的安全性。
肌肉骨骼康复装置110的骨骼表示分析器124可以在给定时间确定作用在来自骨骼3D表示的一组关节的关节上的载荷。使用载荷，可以计算出一组扭矩值，该扭矩值可以指示作用在一组关节上的所有肌肉力、韧带力、摩擦力、重力、惯性力和反作用力的净结果。为了确定/计算背部关节(例如，图6中示出的关节L5/S1)上的静态载荷，骨骼表示分析器124可以使用以下等式来单独计算躯干、手臂、手和手持物体绕背部关节的惯性扭矩：
扭矩＝L*W+M*A+I*α
其中L表示扭矩臂，W表示来自一组肢的肢的重量，M表示肢的质量，A表示肢的质心的线性加速度值，I表示扭矩惯性，并且α表示肢相对于地平面的角加速度值。
肢的质量可以从登普斯特方程(Dempster's equations)和至少一个对象(例如，患者)的总质量值(例如，存储器111或服务器170中存储的医疗记录)得出。在一些例子中，至少一个对象可以直接输入总质量值。在一些例子中，可以使用神经网络模型从一组图像估计总质量值。每个身体部位的质心(COM)可以使用骨骼3D表示以及解剖学得出的数据来获得。在一些例子中，可以通过进行以下操作来获得手持物体(例如，患者用来进行锻炼)的COM：(1)执行神经网络来检测物体，和(2)通过将手持物体与更简单的几何物体(如，矩形棱柱、球体等)进行比较来对手持物体的形状和/或质量进行建模。可以使用第一中心差分法来计算线性加速度值和角加速度值。可以计算背部关节上方的每一段的扭矩，并进行求和以计算总扭矩(力矩)值。
如上所述，肌肉骨骼康复装置110的骨骼表示分析器124可以生成至少一个对象的每个关节上的扭矩值，以产生一组扭矩值。为了将扭矩数据(一组扭矩值)置于上下文中，风险报告器125可以分析扭矩数据以指示来自一组扭矩值的扭矩值何时高于安全水平(例如，扭矩何时处于高于先前确定的阈值的水平，疲劳风险何时可能很高)。
对于来自一组关节的给定关节，关节角度可以从骨骼3D表示并且使用3D三角法来得出。此外，给定关节的速度值可以例如使用如上所述的离散差分法来计算，该方法可以比较某一帧中的关节角度相较于前一帧和下一帧的变化。因此，可以基于关节角度和速度值来获得关节的最大扭矩。然后，风险报告器125可以确定关节的上限安全水平。在一个实例中，关节上的关节扭矩的总极限值(TLV)可以通过关节上的容许最大扭矩百分比和对象进行上述任务的持续时间之间的关系来获得。
风险报告器125可以包含统计模型，统计模型可以计算和报告统计数据，包含但不限于一组关节角度(从一组关节得出)和一组姿态(从骨骼3D表示生成)的均值和方差。统计模型还可以用于进行各种统计研究，如在不同的人体工程学介入指南下的关节运动的方差分析(ANOVA)。统计研究的结果可以被并入仪表板中，以便向肌肉骨骼康复装置110的用户(例如，医生、患者、临床医生等)进行可视化和分析。
风险报告器125的统计模型可以进行分割和层次数据聚类，如支持间隙统计的K均值、均值漂移、基于密度的噪声应用空间聚类(DBSCAN)等。可以使用期望最大化和凝聚聚类技术来标识在特定锻炼和/或制造操作期间出现的固有姿态组。在一些实施方案中，可以针对关节角度/位置、关节间距离以及结合了多目标优化方法的组合测量来分别进行数据聚类。然后，可以研究标识的姿态组，并且在数据分类和预测分析管道的特征工程中使用。关联规则和对比挖掘算法，如先验、频繁模式(FP)-增长等，可以用于以高度解释性规则和对比集的形式揭示一组关节之间的相互关系，这可以导致对特定组织设置中的人体工程学风险边界的更好理解。
风险报告器125可以包含分类模型(也被称为“第三机器学习模型”；例如如图7中所示)。分类模型可以是/包含梯度提升决策树算法，如极端梯度提升(XGBoost)模型。在一些例子中，XGBoost模型可以表现出比非基于集成的分类方法更好的性能。XGBoost模型可以将静态姿态和/或动态姿态数据分类到预定义的风险损伤类别中。分类模型可以将至少一个对象的一组姿态分类到一组预定损伤类别，以生成损伤的发生的一组可能性值。
因此，风险报告器125可以使用预测分析(使用统计模型和机器学习模型)来建立安全措施的阈值，以防止损伤风险的增加。在一些例子中，长短期(LSTM)递归神经网络(RNN)以及基于变换器的机器学习管道可以用于利用时间系列数据来预测制造操作期间发生的特定姿态的不利影响。然后，分类结果可以在仪表板中可视化，以便向肌肉骨骼康复装置110的用户(例如，医生、患者、临床医生等)进行可视化和分析，和/或用于分析组织特定的风险因素。
尽管肌肉骨骼康复装置110、服务器170和摄像头190针对图1被示出和描述为单个装置，但是应理解，在一些实施例中，可以使用一个或多个肌肉骨骼康复装置、一个或多个服务器和/或一个或多个摄像头。例如，在一些实施例中，可以使用多个摄像头(未示出)来捕捉对象的一组图像。每个摄像头可以安装在房间中的不同位置，以捕捉不同于来自多个摄像头的其余摄像头的视角。
在一些实施例中，肌肉骨骼康复装置110可以包含摄像头190。例如，摄像头可以是肌肉骨骼康复装置110的一部分(例如，连接到肌肉骨骼康复装置110的网络摄像头、集成到肌肉骨骼康复装置110中的摄像头)，并且可以可操作地耦合到存储器111、通信接口112和/或处理器113，以存储、传输和/或处理由摄像头捕捉的一组图像。在一些例子中，摄像头190可以包含多个帧率设置，并且处理器113可以被配置成基于肌肉骨骼康复装置110的存储器112和/或服务器170的存储器171中可用的存储器存储来从多个帧率设置确定帧率。在一些实施例中，摄像头190可以直接连接到肌肉骨骼康复装置110。也就是说，摄像头190不使用网络150来连接到肌肉骨骼康复装置110。
图2是示出了根据一个实施例的用于从一组图像分析肌肉骨骼康复的方法200的流程图。如图2中所示，方法200可以由肌肉骨骼康复装置(例如，针对图1示出和描述的肌肉骨骼康复装置110)来进行。在201处，可以接收(1)至少一个对象的一组图像和(2)至少一个对象的至少一个总质量值。至少一个对象没有穿戴任何运动传感器。在一些例子中，一组图像可以按时间序列排序(例如，视频流中的一组帧的时间序列)。在一些实施方案中，可以执行人检测器模型(针对图1描述；也被称为“第三机器学习模型”)，以在一组图像中生成围绕至少一个对象的一组边界框。
在一些实施方案中，可以将一组跟踪器(例如，可以在图像中容易标识的一个或多个图像标志物)放置在一组图像中的时间序列的第一图像(其在时间上早于来自一组图像的每个其余图像)的边界框中。在一些实施方案中，肌肉骨骼康复装置可以执行卡尔曼滤波器(例如，卡尔曼滤波器的变型)以跟踪一组跟踪器，从而跨一组图像标识至少一个对象。
在202处，可以执行第一机器学习模型(类似于针对图1示出和描述的第一机器学习模型122)，以从一组图像标识至少一个对象的一组关节。在203处，可以执行第二机器学习模型(类似于针对图1示出和描述的第二机器学习模型123)，以基于一组关节和一组图像来确定至少一个对象的一组肢。在一些实施方案中，肌肉骨骼康复装置可以执行匈牙利最大匹配算法，以确定来自一组图像的每个图像处的一组关节之间的一组关系。可以使用一组关节和一组关系来产生至少一个对象的至少一个骨骼。
在204处，可以基于一组关节和一组肢来生成一组骨骼三维(3D)表示。在一些实施方案中，肌肉骨骼康复装置可以将至少一个滤波器(例如，巴特沃斯滤波器、最终中值滤波器、萨戈尔滤波器等)应用于一组骨骼3D表示，以生成至少一个姿态。可以基于用于记录/捕捉一组图像的帧率(例如，针对图1示出和描述的摄像头190的帧率)来确定至少一个滤波器。在一些实施方案中，肌肉骨骼康复装置可以基于至少一个姿态对一组骨骼3D表示进行去噪，以产生一组细化(例如，具有更少噪声的)骨骼3D表示。
在一些实施方案中，在执行第二机器学习模型之后，肌肉骨骼康复装置可以执行单目深度估计模型(也被称为“第三机器学习模型”；例如，自动编码器神经网络模型)，以基于至少一个对象的一组图像来生成相对于摄像头的焦点的至少一个距离。可以基于至少一个距离和一组骨骼3D表示来生成至少一个姿态。可以基于至少一个姿态对一组骨骼3D表示进行去噪，以产生一组细化(例如，具有更少噪声的)骨骼3D表示。
在205处，可以基于至少一个对象的至少一个总质量值和骨骼3D表示来为来自一组肢的每个肢确定质量值和扭矩惯性值。在一些实施方案中，质量值可以由外围神经网络或经由用户输入生成。在206处，可以对一组骨骼3D表示进行数值微分，以产生来自一组肢的每个肢的线性加速度值和角加速度值。至少一个对象的总质量可以由用户提供，或可以使用骨骼3D表示结合辅助神经网络来估计，该辅助神经网络可以预测至少一个对象的身体质量指数(BMI)。在一些实施方案中，可以使用与BMI高度相关的面部特征来预测至少一个对象的BMI和/或总质量。例如，卷积神经网络(CNN)可以被训练成从视频捕捉的帧子集合获取面部图像。可以经由特征映射提取面部特征，并且网络可以使用这些特征来直接回归至少一个对象的BMI。可以从骨骼3D表示提取至少一个对象的高度。身高和BMI一起可以用来获得对象的体重。
在207处，可以基于(1)质量值和线性加速度值或(2)扭矩惯性和角加速度值中的至少一者来确定来自一组肢的每个肢的扭矩值，以生成一组扭矩值。在一些实施方案中，可以基于重量值、扭矩臂值、质量值、线性加速度值、扭矩惯性和角加速度值来为来自一组肢的每个肢确定扭矩值。在208处，可以基于来自一组扭矩值的至少一个扭矩值高于预定阈值来生成风险评估报告。在一些实施方案中，骨骼3D表示可以是笛卡尔坐标矩阵，并且被称为第一组骨骼3D表示。可以使用至少一个欧几里德矩阵来变换第一组骨骼3D表示，以产生第二组骨骼3D表示(欧拉角表示)。可以对第二组骨骼3D表示进行数值微分，以产生一组关节运动速度值的时间序列。
图3是根据一个实施例的用于从一组图像分析对象的肌肉骨骼康复的方法的示意图。在一些实施例中，该方法可以由肌肉骨骼康复装置(例如，针对图1示出和描述的肌肉骨骼康复装置110)进行。在301处，可以捕捉数据。数据可以包含对象(例如，进行体育锻炼的个人)的一组图像、对象的体重的指示等。在302处，可以在对象周围(例如，由针对图1描述的人检测模型)生成边界框，以产生用边界框310注释的图像。(尽管在310中未示出，但是应理解，每个完整图像都大于边界框并且被排除在边界框之外。)在一些实施方案中，边界框可以用于跟踪对象，如上所述。在303处，可以使用多人2D姿态检测器模型为来自对象的一组图像的每个图像生成2D姿态，如上所述。2D姿态可以被图像覆盖，以产生用2D姿态320注释的图像。在304处，可以使用3D骨骼重建模型为图像生成3D姿态，如上所述。3D姿态可以被图像覆盖，以产生用3D姿态330注释的图像。此外，对象的骨骼340的3D表示可以由3D骨骼重建模型产生。在305处，可以使用骨骼340的3D表示来计算和分析身体活动度量(例如，速度值、扭矩值等)，如上所述。例如，在一些例子中，可以分析和/或绘制以牛顿(N)为单位的扭矩值的时间序列，以便向肌肉骨骼康复装置的用户进行可视化。在306，可以使用所有或一些身体活动度量来产生风险评估报告。在一些例子中，风险评估报告可以具体指示特定关节有损伤和/或疲劳风险的可能性。
图4是根据一个实施例的用于检测一组对象并跨帧跟踪一组对象的方法的示意图。肌肉骨骼康复装置(类似于针对图1描述的肌肉骨骼康复装置110)可以在一组图像(例如，视频帧)中生成多个对象的多个边界框和多个骨骼表示。跟踪模型(类似于以上针对图1描述的跟踪模型)可以使用上述跟踪模型中使用的一组跟踪器来跨一组图像的帧跟踪多个边界框和多个骨骼表示。
图5是根据一个实施例的用于估计一组姿态的方法的示意图。肌肉骨骼康复装置(类似于针对图1描述的肌肉骨骼康复装置110)可以使用第一机器学习模型(类似于针对图1示出和描述的第一机器学习模型122)来在由摄像头记录的图像510中生成来自多个对象的每个对象的一组关节、一组肢和一个姿态估计。例如，多个对象可以正在进行康复锻炼。在一些实施方案中，多个姿态估计520可以被多个对象的图像510覆盖，以生成覆盖图像530。
图6是根据一个实施例的用于确定背部关节上的静态载荷的方法的示意图。关节扭矩可以是指围绕关节传递的总扭矩，其通常由肌肉传递。对于来自对象(例如，患者、工作人员、运动员等)身体中的一组关节的每个关节，多个身体部位通常会对关节周围的力的扭矩产生影响。所有这些扭矩的和可以产生总关节扭矩，其可以被视为绕关节的旋转力。如图6中所示，背部关节(L5/S1关节)的动态载荷模型可以通过本文描述的方法计算。然而，该方法可以类似地应用于对象的任何其它关节。背部关节上的总动态载荷可以是L5/S1关节上方的身体段的重量、线性加速度和角加速度引起的扭矩的和。
L5/S1关节的承重扭矩可以通过背部上方的身体部位和物体的所有承重扭矩的和来计算。这些可以包含头部、躯干、手臂、手或手中的物体。身体部位的承重扭矩可以由下式给出：
W＝m×g×r
其中m是身体部位或物体的质量值，g是重力常数，并且r是水平面上的段的质心(COM)和L5/S1之间的距离。例如，在通过对尸体进行的精确计算获得数据集之后，可以对每个身体部位或物体的COM、总体重百分比和回转半径进行建模。对象的总质量可以由用户给出，或可以使用骨骼3D表示(如针对图1描述)结合辅助神经网络来估计，该辅助神经网络可以基于对象的面部特征和/或骨骼3D表示来预测对象的身体质量指数(MBI)和/或体重。
总线性惯性扭矩是所有身体部位和与感兴趣的关节(L5/S1关节)相互作用的任何辅助物体的线性惯性扭矩的和。3D重建被格式化，使得垂直方向含有用于计算由于运动引起的线性力的所有信息。线性惯性扭矩可以使用下式计算：
L＝r×m×az
其中r是扭矩臂，m是身体部位或物体的质量值，并且az表示身体部位(例如，头部、躯干、手臂、手或手中的物体)的COM的垂直加速度。可以使用微分的中心差分法从骨骼3D表示为每个图像/帧计算线性惯性扭矩。可以使用双通巴特沃斯滤波器对线性惯性扭矩进行滤波以去除噪声，而不改变图像/帧的特性，该双通巴特沃斯滤波器的截止频率是通过应用上述杰克逊算法获得的。
总角惯性扭矩是所有身体部位和与背部相互作用的任何辅助物体的角惯性扭矩的和。每个身体部位的角惯性扭矩可以使用下式计算：
A＝m×ρ2×α
其中m是身体部位的质量，ρ是回转半径，并且α是角加速度。这里，感兴趣的角度是身体部位和横向平面之间的分段角度。可以使用上述用于线性惯性扭矩的相同技术来对此角度的加速度进行计算和滤波。最后，绕感兴趣的关节(L5/S1关节)的总扭矩可以被计算为：
T＝W+L+A
将上述等式中的所有加速度设置为零，可以得到静态扭矩。
图7是根据一个实施例的用于将静态姿态数据和动态姿态数据分类到风险损伤类别中的分类模型的示意图。分类模型可以将静态姿态和/或动态姿态数据(如针对图1描述)分类到预定义的风险损伤类别中，并因此预测损伤的发生可能性。在一个实例中，分类模型可以是XGBoost模型，其包含一组超参数，如例如定义XGBoost模型中的提升轮或树的数量的提升轮数，和/或定义从XGBoost模型的树根到树叶的最大允许节点数量的最大深度。XGBoost模型可以包含一组树、一组节点、一组权重、一组偏差等。
图8是根据一个实施例的用于单目图像生成的方法的示意图。可以使用单目深度估计模型(类似于针对图1描述的单目深度估计模型)来编码对象(例如，患者)相对于从对象拍摄一组图像的摄像头的焦点中心的距离。单目深度估计模型可以从一组图像接收图像810(例如，以红-绿-蓝(RGB)颜色编码)，以生成单目图像820。在一些例子中，单目图像可以被下采样两倍。在一些例子中，单目深度估计网络可以是具有卷积滤波器的自动编码器神经网络模型。在一些实施方案中，单目深度估计模型可以被配置成从图像810(作为单目深度估计模型的输入)生成深度/距离值(作为单目深度估计模型的输出)。
应理解，所公开的实施例并不代表所有要求保护的创新。因此，本公开的某些方面没有在本文中进行讨论。替代实施例可能并未针对创新的特定部分而呈现，或另外的未描述的替代实施例也可能可用于某一部分，这不应被认为是对这些替代实施例的放弃。因此，应理解，可以利用其它实施例，并且可以进行功能、逻辑、操作、组织、结构和/或拓扑修改而不脱离本公开的范围。因此，在整个公开中，所有的实例和/或实施例都被认为是非限制性的。
本文描述的一些实施例涉及方法。应理解，这些方法可以是计算机实施方法(例如，存储器中存储和处理器上执行的指令)。在上述方法指示某些事件以某种顺序发生的情况下，可以修改某些事件的顺序。此外，某些事件可以重复地进行，可以在可能时在并行过程中同时地进行，并且可以如上所述顺序地进行。此外，某些实施例可以省略一个或多个所描述的事件。
本文定义和使用的所有定义应被理解为优先于字典定义、通过引用并入的文献中的定义和/或所定义术语的普通含义。
本文描述的一些实施例涉及一种具有非暂时性计算机可读介质(也可以被称为非暂时性处理器可读介质)的计算机存储产品，g该介质上具有用于进行各种计算机实施操作的指令或计算机代码。计算机可读介质(或处理器可读介质)在它本身不包含暂时性传播信号(例如，在如空间或电缆等传输介质上携带信息的传播电磁波)的意义上是非暂时性的。介质和计算机代码(也可以被称为代码)可以是为一个或多个特定目的而设计和构建的介质和计算机代码。非暂时性计算机可读介质的实例包含但不限于磁存储介质，如硬盘、软盘和磁带；光存储介质，如压缩盘/数字视频盘(CD/DVD)、压缩盘只读存储器(CD-ROM)和全息装置；磁光存储介质，如光盘；载波信号处理模块；和专门被配置成存储和执行程序代码的硬件装置，如专用集成电路(ASICs)、可编程逻辑装置(PLD)、只读存储器(ROM)和随机存取存储器(RAM)装置。本文描述的其它实施例涉及一种计算机程序产品，其可以包含例如本文讨论的指令和/或计算机代码。
本文描述的一些实施例和/或方法可以由软件(在硬件上执行)、硬件或其组合来进行。硬件模块可以包含例如通用处理器、现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。(在硬件上执行的)软件模块可以以各种软件语言(例如，计算机代码)和开发工具来表达，该软件语言包含C、C++、JavaTM、Ruby、Visual BasicTM和/或其它面向对象的、过程化的或其它编程语言。计算机代码的实例包含但不限于微代码或微指令、机器指令(如，由编译器产生的指令)、用于产生网络服务的代码以及含有由计算机使用解释器执行的高级指令的文件。例如，可以使用Python、Java、JavaScript、C++和/或其它编程语言和软件开发工具来实施实施例。例如，实施例可以使用命令式编程语言(例如，C、Fortran等)、函数式编程语言(Haskell、Erlang等)、逻辑编程语言(例如，Prolog)、面向对象的编程语言(例如，Java、C++等)或其它合适的编程语言和/或开发工具来实施。计算机代码的另外的实例包含但不限于控制信号、加密代码和压缩代码。
附图主要是出于说明性目的，而不是旨在限制本文描述的主题的范围。附图不一定按比例绘制；在一些例子中，本文公开的主题的各个方面可以在附图中被夸大或放大示出，以便于理解不同的特征。在附图中，相似的附图标记通常指代相似的特征(例如，功能上相似和/或结构上相似的元件)。
作为所公开的方法的一部分进行的动作可以以任何合适的方式排序。因此，可以构建实施例，其中以不同于所示的顺序执行过程或步骤，这可以包含同时进行一些步骤或过程，即使其在说明性实施例中被示出为序列动作。换句话说，应理解，这些特征不必限于特定的执行顺序，而是可以以与本公开一致的方式以串行、异步、并发、并行、同时、同步等模式执行的任何数量的线程、过程、服务、服务器等。因此，这些特征中的一些可能是相互矛盾的，因为它们不能同时出现在单个实施例中。类似地，一些特征适用于创新的一个方面，而不适用于其它方面。
在提供了值范围的情况下，应理解，介于所述范围的上限与下限之间的每个中间值(到下限的单位的十分之一，除非上下文另外明确说明)以及所陈述范围中的任何其它所陈述或中间值均涵盖在本公开内。这些较小范围的上限和下限可以独立地包含在更小范围中，这也涵盖在本公开内，需接受所陈述范围中的任何专门排除的限制。在所陈述范围包含限制中的一个或两个的情况下，排除那些被包含在内的限制中的任一个或两个的范围也包含在本公开中。
本文在说明书和实施例中使用的短语“和/或”应被理解为意指如此结合的元件中的“任一个或两个”，即在一些情况下结合存在而在其它情况下分开存在的元件。用“和/或”列出的多个元件应以相同的方式解释，即如此结合的元件中的“一个或多个”。除了由“和/或”从句具体标识的元件之外，还可以任选地存在其它元件，无论与具体标识的那些元件相关或不相关。因此，作为一个非限制性实例，当与如“包括”的开放式语言结合使用时，对“A和/或B”的引用可以在一个实施例中仅指A(任选地包含除B之外的元件)；在另一个实施例中仅指B(任选地包含除A之外的元件)；在又一个实施例中指A和B两者(任选地包含其它元件)；等等。
如本文在说明书和实施例中使用，“或”应被理解为具有与上面定义的“和/或”相同的含义。例如，当分隔列表中的项目时，“或”或“和/或”应被解释为包含性的，即包含多个或列表元件中的至少一个，但也包含多个或列表元件中的不止一个，并且任选地包含另外的未列出的项目。仅明确相反指示的术语，如“…中的仅一个”或“…中的恰好一个”，或实施例中使用的“由…组成”将指包含多个或列表元件中的恰好一个元件。一般来说，本文使用的术语“或”仅应被解释为在前面带有排他性术语时表示排他性选择(即，“一个或另一个，但不是两个”)，所述排他性术语例如“任一个”、“…中的一个”、“…中的仅一个”或“…中的恰好一个”。当在实施例中使用时，“基本上由…组成”应具有其在专利法领域中使用的普通含义。
如本文在说明书和实施例中使用，关于一个或多个元件的列表，短语“至少一个”应被理解为意指从元件列表中的任何一个或多个元件选择的至少一个元件，但是不一定包含元件列表中具体列出的每个元件中的至少一个，并且不排除元件列表中的元件的任何组合。此定义还允许，可以任选地存在除在短语“至少一个”所指的元件的列表中具体标识的元件之外的元件，无论与具体标识的那些元件相关或不相关。因此，作为一个非限制性实例，“A和B中的至少一个”(或等同地，“A或B中的至少一个”；或等同地，“A和/或B中的至少一个”)在一个实施例中可以是指至少一个，任选地包含不止一个A而不存在B(并且任选地包含除B之外的元件)；在另一个实施例中可以是指至少一个，任选地包含不止一个B而不存在A(并且任选地包含除A之外的元件)；在又一个实施例中可以是指至少一个，任选地包含不止一个A，和至少一个，任选地包含不止一个B(并且任选地包含其它元件)；等等。
在权利要求以及以上说明书中，所有过渡性短语，如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“容纳”、“由…构成”等，应被理解为是开放式的，即意指包含但不限于。如美国专利局专利审查手册第2111.03节所述的，只有过渡短语“由…组成”和“基本上由…组成”应分别是封闭式或半封闭式过渡性短语。

Claims (24)

1.一种方法，其包括：
接收(1)至少一个对象的多个图像和(2)所述至少一个对象的至少一个总质量值，
执行第一机器学习模型，以从所述多个图像标识所述至少一个对象的多个关节；
执行第二机器学习模型，以基于所述多个关节和所述多个图像来确定所述至少一个对象的多个肢；
基于所述多个关节和所述多个肢来生成骨骼的多个三维(3D)表示；
基于所述至少一个对象的所述至少一个总质量值和所述骨骼的所述3D表示来确定来自所述多个肢的每个肢的质量值和扭矩惯性值；
对所述骨骼的所述多个3D表示进行数值微分，以产生来自所述多个肢的每个肢的线性加速度值和角加速度值；
基于所述质量值和所述线性加速度值或所述扭矩惯性和所述角加速度值中的至少一者来确定来自所述多个肢的每个肢的扭矩值，以生成多个扭矩值；以及
基于来自所述多个扭矩值的至少一个扭矩值高于预定阈值来生成风险评估报告。
2.根据权利要求1所述的方法，其进一步包括：
在执行所述第一机器学习模型之前，执行第三机器学习模型，以基于所述多个图像来生成围绕所述至少一个对象的多个边界框，所述多个图像按时间序列排序；
将多个跟踪器放置在所述多个图像中的所述时间序列的第一图像的边界框中，所述第一图像在时间上早于来自所述多个图像的每个其余图像；以及
执行卡尔曼滤波器来跟踪所述多个跟踪器，以跨所述多个图像标识所述至少一个对象。
3.根据权利要求1所述的方法，其进一步包括：
执行匈牙利最大匹配算法，以确定来自所述多个图像的每个图像处的所述多个关节之间的多个关系；
对于来自所述多个图像的每个图像，基于所述多个关节和所述多个关系来产生所述至少一个对象的至少一个骨骼；以及
执行所述第二机器学习模型，以生成所述骨骼的所述多个3D表示。
4.根据权利要求1所述的方法，其进一步包括：
将至少一个滤波器应用于所述骨骼的所述多个3D表示，以至少一个姿态，所述至少一个滤波器是基于用于记录所述多个图像的帧率来确定的；以及
基于所述至少一个姿态对所述骨骼的所述多个3D表示进行去噪，以产生所述骨骼的多个细化3D表示。
5.根据权利要求4所述的方法，其中所述至少一个滤波器包含巴特沃斯滤波器、最终中值滤波器或萨戈尔滤波器中的至少一种。
6.根据权利要求1所述的方法，其中所述多个图像由具有焦点的摄像头记录，所述方法进一步包括：
在执行所述第二机器学习模型之后，执行第三机器学习模型，以基于所述多个图像来生成所述至少一个对象相对于所述焦点的至少一个距离；
基于所述至少一个距离和所述骨骼的所述多个3D表示来生成所述至少一个姿态；以及
基于所述至少一个姿态对所述骨骼的所述多个3D表示进行去噪，以产生所述骨骼的多个细化3D表示。
7.根据权利要求6所述的方法，其中所述第三机器学习模型是自动编码器神经网络模型。
8.根据权利要求A1所述的方法，其中所述骨骼的所述3D表示是所述骨骼的第一多个3D表示，来自所述骨骼的所述第一多个3D表示的每个骨骼3D表示是笛卡尔坐标矩阵，所述方法进一步包括：
使用至少一个欧几里德矩阵变换所述骨骼的所述第一多个3D表示，以产生所述骨骼的第二多个3D表示，来自所述骨骼的所述第二多个3D表示的每个3D表示是欧拉角表示；以及
对所述骨骼的所述第二多个3D表示进行数值微分，以产生关节运动速度值的多个时间序列。
9.根据权利要求8所述的方法，其进一步包括：
基于所述骨骼的所述第一多个3D表示中的所述多个关节来确定多个关节角度；以及
基于关节运动速度值的所述多个时间序列和所述多个关节角度来确定多个最大扭矩值。
10.根据权利要求9所述的方法，其进一步包括：
基于关节运动速度值的所述多个时间序列来确定所述多个关节的多个活动的多个持续时间；以及
基于所述多个最大扭矩值和所述多个活动的所述多个持续时间来确定来自所述多个关节的每个关节的多个总极限值。
11.根据权利要求1所述的方法，其中所述至少一个对象没有佩戴任何运动传感器。
12.根据权利要求1所述的方法，其进一步包括：
基于所述骨骼的所述多个3D表示来为来自所述至少一个对象的所述多个肢的每个肢从多个质心位置确定质心位置。
13.根据权利要求1所述的方法，其进一步包括：
基于重量值、扭矩臂值、所述质量值、所述线性加速度值、所述扭矩惯性和所述角加速度值来确定来自所述多个肢的每个肢的所述扭矩值。
14.一种非暂时性处理器可读介质，其存储表示待由处理器执行的指令的代码，所述代码包括使所述处理器进行以下操作的代码：
执行第一机器学习模型，以针对来自进行多个活动的至少一个对象的多个图像的每个图像标识所述至少一个对象的多个关节；
执行第二机器学习模型，以确定所述至少一个对象的多个肢，从而基于所述多个图像来生成骨骼的第一多个三维(3D)表示；
变换所述骨骼的所述第一多个3D表示，以产生所述骨骼的第二多个3D表示，
来自所述骨骼的所述第二多个3D表示的每个3D表示是欧拉角表示；
对所述骨骼的所述第二多个3D表示进行数值微分，以产生关节运动速度值的多个时间序列；
基于关节运动速度值的所述多个时间序列和多个关节角度来确定多个最大扭矩值，所述多个关节角度是基于所述骨骼的所述第一多个3D表示中的所述多个关节确定的；以及
基于所述多个最大扭矩值和所述多个活动的多个持续时间来确定来自所述多个关节的每个关节的多个总极限值。
15.根据权利要求14所述的非暂时性处理器可读介质，其中所述第一多个3D表示由欧拉角表示进行变换，以生成所述第二多个3D表示。
16.根据权利要求14所述的非暂时性处理器可读介质，所述代码进一步包括使所述处理器进行以下操作的代码：
在执行所述第一机器学习模型之前，执行第三机器学习模型，以基于所述多个图像来生成围绕所述至少一个对象的多个边界框，所述多个图像按时间序列排序；
将多个跟踪器放置在所述多个图像中的所述时间序列的第一图像的边界框中，所述第一图像在时间上早于来自所述多个图像的每个其余图像；以及
执行卡尔曼滤波器来跟踪所述多个跟踪器，以跨所述多个图像标识所述至少一个对象。
17.根据权利要求14所述的非暂时性处理器可读介质，所述代码进一步包括使所述处理器进行以下操作的代码：
执行匈牙利最大匹配算法，以确定来自所述多个图像的每个图像处的所述多个关节之间的多个关系；
对于来自所述多个图像的每个图像，基于所述多个关节和所述多个关系来产生所述至少一个对象的至少一个骨骼；以及
执行所述第二机器学习模型，以生成所述骨骼的所述第一多个3D表示。
18.根据权利要求14所述的非暂时性处理器可读介质，所述代码进一步包括使所述处理器进行以下操作的代码：
将至少一个滤波器应用于所述骨骼的所述第一多个3D表示，以生成至少一个姿态，所述至少一个滤波器是基于用于记录所述多个图像的帧率来确定的；以及
基于所述至少一个姿态对所述骨骼的所述第一多个3D表示进行去噪，以产生所述骨骼的多个细化3D表示。
19.一种设备，其包括：
摄像头，所述摄像头被配置成以帧率捕捉至少一个对象的多个图像；
存储器，所述存储器可操作地耦合到所述摄像头，所述存储器被配置成存储所述多个图像；以及
处理器，所述处理器可操作地耦合到所述存储器，所述处理器被配置成：
执行第一机器学习模型，以基于所述多个图像标识所述至少一个对象的多个关节；
执行第二机器学习模型，以基于所述多个图像确定所述至少一个对象的多个肢；
基于所述多个关节和所述多个肢来生成骨骼的多个三维(3D)表示；
将至少一个滤波器应用于所述骨骼的所述多个3D表示，以生成多个姿态，所述至少一个滤波器是基于所述帧率确定的；
基于所述骨骼的所述多个3D表示中的所述多个关节来确定多个关节角度；
执行统计模型，以基于所述多个关节角度和所述多个姿态来生成统计数据；以及
执行第三机器学习模型，以基于所述多个姿态和所述统计数据来预测至少一个损伤的发生可能性。
20.根据权利要求19所述的设备，其中所述统计数据包含多个关节角度平均值、多个关节角度方差值、多个平均姿态或多个方差姿态中的至少一种。
21.根据权利要求19所述的设备，其中所述处理器进一步被配置成：
在执行所述第一机器学习模型之前，执行第四机器学习模型，以基于所述多个图像来生成围绕所述至少一个对象的多个边界框，所述多个图像按时间序列排序；
将多个跟踪器放置在所述多个图像中的所述时间序列的第一图像的边界框中，所述第一图像在时间上早于来自所述多个图像的每个其余图像；以及
执行卡尔曼滤波器来跟踪所述多个跟踪器，以跨所述多个图像标识所述至少一个对象。
22.根据权利要求19所述的设备，其中所述摄像头具有焦点，所述处理器进一步被配置成：
在执行所述第二机器学习模型之后，执行第四机器学习模型，以基于所述多个图像来生成所述至少一个对象相对于所述焦点的至少一个距离；
基于所述至少一个距离和所述骨骼的所述多个3D表示来生成至少一个姿态；以及
基于所述至少一个姿态对所述骨骼的所述多个3D表示进行去噪，以产生所述骨骼的多个细化3D表示。
23.根据权利要求19所述的设备，其中所述第三机器学习模型是极端梯度提升(XGBoost)模型。
24.根据权利要求19所述的设备，其中
所述第三机器学习模型被配置成将所述至少一个对象的所述多个姿态分类到至少一个预定损伤类别，以生成所述至少一个损伤的所述发生可能性。
CN202180073714.3A 2020-09-11 2021-09-10 用于机器学习以从图像分析肌肉骨骼康复的方法和设备 Pending CN116507276A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US63/077,335 2020-09-11
US202163202298P 2021-06-04 2021-06-04
US63/202,298 2021-06-04
PCT/US2021/049876 WO2022056271A1 (en) 2020-09-11 2021-09-10 Methods and apapratus for machine learning to analyze musculo-skeletal rehabilitation from images

Publications (1)

Publication Number Publication Date
CN116507276A true CN116507276A (zh) 2023-07-28

Family

ID=84284714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180073714.3A Pending CN116507276A (zh) 2020-09-11 2021-09-10 用于机器学习以从图像分析肌肉骨骼康复的方法和设备

Country Status (2)

Country Link
US (1) US11957478B2 (zh)
CN (1) CN116507276A (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941824B2 (en) 2021-04-12 2024-03-26 VelocityEHS Holdings, Inc. Video-based hand and ground reaction force determination
US20230316525A1 (en) * 2022-03-31 2023-10-05 Cedars-Sinai Medical Center Deep learning-derived myocardial strain
US20230410397A1 (en) * 2022-06-16 2023-12-21 Nvidia Corporation Physics-based image generation using one or more neural networks
US12248874B2 (en) 2022-10-25 2025-03-11 VelocityEHS Holdings, Inc. Automatic identification of lessons-learned incident records
US12148097B2 (en) * 2022-12-09 2024-11-19 Huawei Technologies Co., Ltd. Methods and systems for 3D hand pose estimation from RGB images
US20250005949A1 (en) 2023-01-17 2025-01-02 VelocityEHS Holdings Inc. Automated industrial hygiene assessment and display
US11893048B1 (en) 2023-01-17 2024-02-06 VelocityEHS Holdings, Inc. Automated indexing and extraction of multiple information fields in digital records
US11727702B1 (en) 2023-01-17 2023-08-15 VelocityEHS Holdings, Inc. Automated indexing and extraction of information in digital documents
TWI851121B (zh) * 2023-03-30 2024-08-01 宏碁股份有限公司 估測骨質疏鬆的方法與電子裝置
US11763235B1 (en) 2023-04-12 2023-09-19 VelocityEHS Holdings, Inc. Method and system for industrial ergonomics risk root-cause analysis and management using artificial intelligence oriented natural language processing techniques
US11922358B1 (en) * 2023-04-12 2024-03-05 VelocityEHS Holdings, Inc. Method and system for industrial ergonomics risk root cause identification and management
US12020193B1 (en) * 2023-08-29 2024-06-25 Velocityehs Holdings, Inc Vision-based hand grip recognition method and system for industrial ergonomics risk identification
KR20250033878A (ko) * 2023-09-01 2025-03-10 한국과학기술원 캐릭터 동작 기반의 햅틱 제공 장치, 방법 및 컴퓨터 프로그램
CN116912948B (zh) * 2023-09-12 2023-12-01 南京硅基智能科技有限公司 一种数字人的训练方法、系统及驱动系统
CN118470790B (zh) * 2024-04-30 2025-05-23 南京特殊教育师范学院 一种智能步态分析与姿势矫正优化方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006092872A1 (ja) * 2005-02-28 2006-09-08 National University Corporation NARA Institute of Science and Technology 駆動力算出装置、駆動力算出方法、筋力補助装置、プログラム、及びコンピュータ読み取り可能な記録媒体
US20080221487A1 (en) * 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
US20110208444A1 (en) * 2006-07-21 2011-08-25 Solinsky James C System and method for measuring balance and track motion in mammals
US20130173060A1 (en) * 2012-01-04 2013-07-04 Hyundai Motor Company Method of operating a wearable robot
JP2016162425A (ja) * 2015-03-05 2016-09-05 日本電信電話株式会社 骨格姿勢推定装置、方法、及びプログラム
US20170128136A1 (en) * 2015-11-11 2017-05-11 Mako Surgical Corp. Robotic system and method for backdriving the same
CN109069081A (zh) * 2015-12-04 2018-12-21 爱荷华大学研究基金会 用于预测、筛查和监测脑病/谵妄的设备、系统和方法
US20190328304A1 (en) * 2016-12-26 2019-10-31 Bridgestone Corporation Joint torque computation device, joint torque computation method, and joint torque computation program
US20200051446A1 (en) * 2018-08-07 2020-02-13 Physera, Inc. Classification of musculoskeletal form using machine learning model
US20200206944A1 (en) * 2018-12-30 2020-07-02 Ubtech Robotics Corp Ltd Acceleration compensation method for humanoid robot and apparatus and humanoid robot using the same
WO2020176762A1 (en) * 2019-02-27 2020-09-03 University Of Iowa Research Foundation Methods and systems for image segmentation and analysis

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1322224B1 (en) 2000-09-14 2008-11-05 The Board Of Trustees Of The Leland Stanford Junior University Assessing condition of a joint and cartilage loss
JP4677046B2 (ja) * 2006-12-06 2011-04-27 本田技研工業株式会社 多次元ブースト回帰を経た外観及び動作を使用する高速人間姿勢推定
KR101098834B1 (ko) * 2009-12-02 2011-12-26 한국전자통신연구원 동역학 기반 동작 생성 장치 및 방법
CA2885228C (en) 2012-09-17 2021-07-20 President And Fellows Of Harvard College Soft exosuit for assistance with human motion
US9142034B2 (en) 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
ES2741023T3 (es) 2013-03-15 2020-02-07 David Daniels Sistemas y métodos para dispositivos de entrenamiento de artes marciales con respuestas de fuerza, de presión y otra respuesta anatómicamente precisas
US9489570B2 (en) * 2013-12-31 2016-11-08 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
US11263409B2 (en) 2017-11-03 2022-03-01 Board Of Trustees Of Michigan State University System and apparatus for non-intrusive word and sentence level sign language translation
AU2020209768A1 (en) 2019-01-15 2021-09-09 Shane Yang Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning
CA3146658A1 (en) * 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive personal training system
US11183012B2 (en) * 2019-08-19 2021-11-23 Sg Gaming, Inc. Systems and methods of automated linking of players and gaming tokens
AU2021342157A1 (en) * 2020-09-11 2023-04-20 Inseer, Inc. Methods and apapratus for machine learning to analyze musculo-skeletal rehabilitation from images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006092872A1 (ja) * 2005-02-28 2006-09-08 National University Corporation NARA Institute of Science and Technology 駆動力算出装置、駆動力算出方法、筋力補助装置、プログラム、及びコンピュータ読み取り可能な記録媒体
US20110208444A1 (en) * 2006-07-21 2011-08-25 Solinsky James C System and method for measuring balance and track motion in mammals
US20080221487A1 (en) * 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
US20130173060A1 (en) * 2012-01-04 2013-07-04 Hyundai Motor Company Method of operating a wearable robot
JP2016162425A (ja) * 2015-03-05 2016-09-05 日本電信電話株式会社 骨格姿勢推定装置、方法、及びプログラム
US20170128136A1 (en) * 2015-11-11 2017-05-11 Mako Surgical Corp. Robotic system and method for backdriving the same
CN109069081A (zh) * 2015-12-04 2018-12-21 爱荷华大学研究基金会 用于预测、筛查和监测脑病/谵妄的设备、系统和方法
US20190328304A1 (en) * 2016-12-26 2019-10-31 Bridgestone Corporation Joint torque computation device, joint torque computation method, and joint torque computation program
US20200051446A1 (en) * 2018-08-07 2020-02-13 Physera, Inc. Classification of musculoskeletal form using machine learning model
US20200206944A1 (en) * 2018-12-30 2020-07-02 Ubtech Robotics Corp Ltd Acceleration compensation method for humanoid robot and apparatus and humanoid robot using the same
WO2020176762A1 (en) * 2019-02-27 2020-09-03 University Of Iowa Research Foundation Methods and systems for image segmentation and analysis

Also Published As

Publication number Publication date
US11957478B2 (en) 2024-04-16
US20220386942A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US11324439B2 (en) Methods and apparatus for machine learning to analyze musculo-skeletal rehabilitation from images
US11957478B2 (en) Methods and apparatus for machine learning to analyze musculo-skeletal rehabilitation from images
Javeed et al. Wearable sensors based exertion recognition using statistical features and random forest for physical healthcare monitoring
Khokhlova et al. Normal and pathological gait classification LSTM model
US10004455B2 (en) Realtime biofeedback mechanism and data presentation for knee injury rehabilitation monitoring and a soft real time intelligent system thereof
US8139822B2 (en) Designation of a characteristic of a physical capability by motion analysis, systems and methods
Mekruksavanich et al. Exercise activity recognition with surface electromyography sensor using machine learning approach
US20210315486A1 (en) System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings
Dasgupta et al. Acceleration gait measures as proxies for motor skill of walking: A narrative review
US10849532B1 (en) Computer-vision-based clinical assessment of upper extremity function
Visee et al. An effective and efficient method for detecting hands in egocentric videos for rehabilitation applications
CN112970074A (zh) 身体活动量化和监测
CA2761311A1 (en) Characterizing a physical capability by motion analysis
US20220351824A1 (en) Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality
Romeo et al. Video based mobility monitoring of elderly people using deep learning models
Wei et al. Real-time limb motion tracking with a single imu sensor for physical therapy exercises
CN113974612A (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
CN110755085A (zh) 基于关节活动度与运动协调性的运动功能评估方法及设备
Mortazavi et al. Continues online exercise monitoring and assessment system with visual guidance feedback for stroke rehabilitation
Low et al. Lower extremity kinematics walking speed classification using long short-term memory neural frameworks
Belal et al. Feature fusion for human activity recognition using parameter-optimized multi-stage graph convolutional network and transformer models
Dyshel et al. Quantifying levodopa-induced dyskinesia using depth camera
Amor et al. A framework for interpretable full-body kinematic description using geometric and functional analysis
CN116564467A (zh) 一种基于机器视觉的康复分析方法
Gonzalez-Islas et al. Human gait analysis based on automatic recognition: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination