CN113903147A

CN113903147A - 一种基于雷达的人体姿态判别方法、装置、设备及介质

Info

Publication number: CN113903147A
Application number: CN202111156916.2A
Authority: CN
Inventors: 郭耀; 李跃星; 王安琪; 熊兆中; 镇畅
Original assignee: Time Varying Transmission Co ltd
Current assignee: Time Varying Transmission Co ltd
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2022-01-07

Abstract

本发明提供一种基于雷达的人体姿态判别方法、装置、设备及介质，在用户出入场所处设置有监测雷达和摄像头；该方法包括：获取摄像头拍摄的目标图像和与所述摄像头匹配的监测雷达的标识；所述目标图像为所述监测雷达在检测到人体达到预设报警姿态并触发警示时，由所述摄像头拍摄人体触发警示位置处生成的；对所述目标图像进行图像识别，以确定目标图像中的人体动作状态；根据所述人体动作状态判断所述监测雷达的标识对应的监测雷达区域是否发生预设报警姿态。本发明的一种基于雷达的人体姿态判别方法通过对触发警示的监测雷达进行区域中是否发生触发警示姿态的二次判断，可以提高人体姿态的判断准确性，降低人体姿态监控整体的虚警率。

Description

一种基于雷达的人体姿态判别方法、装置、设备及介质

技术领域

本发明涉及安全防护技术领域，尤其涉及一种基于雷达的人体姿态判别方法、装置、设备及介质。

背景技术

随着科技的不断发展，安全防护方面的研究越来越受重视。安全防护中摔倒的防护是近年来较为重要的一个方面，尤其是针对老人摔倒的安全防护。老人由于身体的衰退，每一次的摔倒都可能导致老人受伤甚至死亡。

目前防摔方面的研究主要分为两部分防摔设备和防摔监控设备。防摔设备可以一定程度上预防老人摔倒，而防摔监控设备可以为防摔设备的改进方向提供基础，也可以在老人摔倒时，提供预警作用。

现有的防摔监控设备主要是通过非接触的传感器监控人体是否摔倒，该防摔监控方式判断人体姿态的准确性较低。

发明内容

本发明提供一种基于雷达的人体姿态判别方法、装置、设备及介质，用以解决目前防摔监控方式判断人体姿态的准确性较低的问题。

本发明第一方面提供一种基于雷达的人体姿态判别方法，在用户出入场所处设置有监测雷达和摄像头；

所述方法包括：

获取摄像头拍摄的目标图像和与所述摄像头匹配的监测雷达的标识；所述目标图像为所述监测雷达在检测到人体达到预设报警姿态并触发警示时，由所述摄像头拍摄人体触发警示位置处生成的；

对所述目标图像进行图像识别，以确定目标图像中的人体动作状态；

根据所述人体动作状态判断所述监测雷达的标识对应的监测雷达区域是否发生预设报警姿态。

可选的，如上所述的方法，所述对所述目标图像进行图像识别，以确定目标图像中的人体动作状态，包括：

将所述目标图像输入训练至收敛的深度卷积网络模型中，以确定目标图像中的人体动作状态。

可选的，如上所述的方法，所述深度卷积网络模型包括特征提取子模型和人体状态识别子模型；

所述将所述目标图像输入训练至收敛的深度卷积网络模型中，以确定目标图像中的人体动作状态，包括：

将所述目标图像输入特征提取子模型中，以确定所述目标图像对应的人体骨骼状态图；所述人体骨骼状态图为将人体部位的特征点连接后生成的；

将所述人体骨骼状态图输入所述人体状态识别子模型中，以根据所述人体骨骼状态图的宽高比确定人体动作状态。

可选的，如上所述的方法，所述人体动作状态包括：

非躺状态和躺状态；所述非躺状态包括坐状态、站立状态和蹲状态。

可选的，如上所述的方法，所述根据所述人体动作状态判断所述监测雷达的标识对应的监测雷达区域是否发生预设报警姿态，包括：

若所述人体动作状态为非躺状态，则确定所述监测雷达的标识对应的监测雷达区域没有发生预设报警姿态；

若所述人体动作状态为躺状态，则确定所述监测雷达的标识对应的监测雷达区域发生预设报警姿态。

可选的，如上所述的方法，所述若所述人体动作状态为躺状态，则确定所述监测雷达的标识对应的监测雷达区域发生预设报警姿态之后，还包括：

将所述监测雷达的标识和所述人体骨骼状态图发送至监管人员的终端设备中，以进行警示。

可选的，如上所述的方法，所述若所述人体动作状态为非躺状态，则确定所述监测雷达的标识对应的监测雷达区域没有发生预设报警姿态之后，还包括：

根据所述监测雷达的标识向对应的监测雷达发送取消警示信息，以使该监测雷达取消警示。

本发明第二方面提供一种基于雷达的人体姿态判别装置，在用户出入场所处设置有监测雷达和摄像头；

所述装置包括：

获取模块，用于获取摄像头拍摄的目标图像和与所述摄像头匹配的监测雷达的标识；所述目标图像为所述监测雷达在检测到人体达到预设报警姿态并触发警示时，由所述摄像头拍摄人体触发警示位置处生成的；

图像识别模块，用于对所述目标图像进行图像识别，以确定目标图像中的人体动作状态；

判断模块，用于根据所述人体动作状态判断所述监测雷达的标识对应的监测雷达区域是否发生预设报警姿态。

可选的，如上所述的装置，所述图像识别模块具体用于：

可选的，如上所述的装置，所述深度卷积网络模型包括特征提取子模型和人体状态识别子模型；

所述图像识别模块在将所述目标图像输入训练至收敛的深度卷积网络模型中，以确定目标图像中的人体动作状态时，具体用于：

将所述目标图像输入特征提取子模型中，以确定所述目标图像对应的人体骨骼状态图；所述人体骨骼状态图为将人体部位的特征点连接后生成的；将所述人体骨骼状态图输入所述人体状态识别子模型中，以根据所述人体骨骼状态图的宽高比确定人体动作状态。

可选的，如上所述的装置，所述人体动作状态包括：

可选的，如上所述的装置，所述判断模块具体用于：

若所述人体动作状态为非躺状态，则确定所述监测雷达的标识对应的监测雷达区域没有发生预设报警姿态；若所述人体动作状态为躺状态，则确定所述监测雷达的标识对应的监测雷达区域发生预设报警姿态。

可选的，如上所述的装置，所述装置还包括：

警示模块，用于将所述监测雷达的标识和所述人体骨骼状态图发送至监管人员的终端设备中，以进行警示。

可选的，如上所述的装置，所述装置还包括：

取消警示模块，用于根据所述监测雷达的标识向对应的监测雷达发送取消警示信息，以使该监测雷达取消警示。

本发明第三方面提供一种电子设备，包括：存储器，处理器；

所述存储器，用于存储所述处理器可执行指令；

其中，所述处理器被配置为由所述处理器执行第一方面任一项所述的一种基于雷达的人体姿态判别方法。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的一种基于雷达的人体姿态判别方法。

本发明第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的一种基于雷达的人体姿态判别方法。

本发明提供的一种基于雷达的人体姿态判别方法、装置、设备及介质，在用户出入场所处设置有监测雷达和摄像头；该方法包括：获取摄像头拍摄的目标图像和与所述摄像头匹配的监测雷达的标识；所述目标图像为所述监测雷达在检测到人体达到预设报警姿态并触发警示时，由所述摄像头拍摄人体触发警示位置处生成的；对所述目标图像进行图像识别，以确定目标图像中的人体动作状态；根据所述人体动作状态判断所述监测雷达的标识对应的监测雷达区域是否发生预设报警姿态。本发明的一种基于雷达的人体姿态判别方法，首先在监测雷达触发警示时，接收匹配的摄像头拍摄人体触发警示位置处生成的目标图像和该监测雷达的标识。然后对目标图像进行图像识别，以确定目标图像中的人体动作状态。人体动作状态可以反映人体的姿势和目前所处状态。因而，根据人体动作状态可以判断触发警示的监测雷达区域是否有发生预设报警姿态，比如人体摔倒的姿态。本发明的一种基于雷达的人体姿态判别方法通过对触发警示的监测雷达进行区域是否触发警示姿态的二次检测判断，可以提高人体姿态的判断准确性，降低人体姿态监控整体的虚警率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明一实施例提供的一种基于雷达的人体姿态判别方法的流程示意图；

图2为本发明一实施例提供的一种基于雷达的人体姿态判别方法的架构示意图；

图3为本发明一实施例提供的一种基于雷达的人体姿态判别方法简略流程示意图；

图4为本发明一实施例提供的电子设备的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。目前防摔监控设备一般采用低成本的防摔雷达来判断人体是否摔倒，防摔雷达点云数较少，导致通过点云判定人体姿态时会存在一定概率的误判。因而，目前防摔监控方式判断人体姿态的准确性较低。

所以针对现有技术中防摔监控方式判断人体姿态的准确性较低的问题，发明人在研究中发现，为了解决该问题，可以通过设置摄像头，利用摄像头的拍摄功能，对监测雷达触发警示的区域进行拍摄，生成可以用来二次判断人体姿态的图像，从而提高判断人体姿态的准确性。

发明人基于上述的创造性发现，提出了本申请的技术方案。

下面结合说明书附图对本发明实施例进行介绍。

图1为本发明一实施例提供的一种基于雷达的人体姿态判别方法的流程示意图，如图1所示，本实施例中，本发明实施例的执行主体为一种基于雷达的人体姿态判别装置，该一种基于雷达的人体姿态判别装置可以集成在电子设备中，比如集成在服务器中。则本实施例提供的一种基于雷达的人体姿态判别方法包括以下几个步骤：

需要说明的是，在用户出入场所处设置有监测雷达和摄像头，比如用户住所处，在每个房间的顶部角落进行设置，设置的数量可以根据实际需求进行设置。

步骤S101，获取摄像头拍摄的目标图像和与摄像头匹配的监测雷达的标识。目标图像为监测雷达在检测到人体达到预设报警姿态并触发警示时，由摄像头拍摄人体触发警示位置处生成的。

本实施例中，在用户出入场所处设置的监测雷达实时监控是否达到预设报警姿态，比如出现人体摔倒现象。如果监测雷达判断出现人体摔倒现象，则会触发警示，并通知匹配的摄像头。此时，摄像头可以根据监测雷达发送的人体触发警示位置处的信息拍摄对应区域，该人体触发警示位置处为人体摔倒的位置，从而生成目标图像。

步骤S102，对目标图像进行图像识别，以确定目标图像中的人体动作状态。

本实施例中，人体动作状态指图像中人体处于什么样的姿势状态，可以通过图像中人体的骨骼状态来确定。

步骤S103，根据人体动作状态判断监测雷达的标识对应的监测雷达区域是否发生预设报警姿态。

本实施例中，人体动作状态如果是躺下的状态则可以判断发生预设报警姿态即发生人体摔倒，监测雷达检测到的情况符合实际情况，若人体动作状态是非躺下的状态，则可以判断未发生人体摔倒，监测雷达检测到出现失误，触发了虚警。

为了更好的理解本发明的方案，下面将结合附图进一步说明本发明的一些实施例方案。

如图2和图3所示，本实施例的一种基于雷达的人体姿态判别装置集成在服务器中。本实施例监测雷达采用毫米波雷达，每个毫米波雷达都具有匹配的摄像头模组，摄像头模组中可能设有1个或多个摄像头。毫米波雷达与摄像头模组通过WiFi模块与服务器通信连接。图2和图3中，APP指的是监控人员的终端设备中的应用程序。

本发明实施例通过毫米波雷达实时检测，在检测到人体摔倒后，会触发匹配的摄像头模组，使摄像头模组对检测到的人体摔倒区域进行拍照。摄像头模组拍照后会将毫米波雷达的标识以及所拍的图像组合，传递至服务器端。服务器对所拍的图像组合进行识别，以确定图像中人体动作状态。首先将图像中的人体部分转变为人体骨骼状态图，比如可以将人体部分转化为火柴人，从而根据火柴人的姿态即可识别是否真的发生摔倒。如果确定没有发生摔倒则使毫米波雷达取消警示，如果确定发生摔倒则将警示信息及火柴人姿态推送到监控人员或用户的终端设备处，通过终端设备处的应用程序进行警示。

本实施例中，对摄像头拍摄的图像进行识别是基于神经网络算法，其中用于训练的数据集是基于本地摄像头实拍照片，采集站立、坐、蹲下、躺下四种姿态，使用深度卷积网络(简称为：Caffe，全称为：Convolution Architecture For Feature Extractioncaffe)对图像进行处理。首先经过深度卷积网络内部提取特征图(人体关键部位)，然后基于图论中的偶匹配方式对人体部位的点位进行连接，组成最终待识别的火柴人。同时，通过深度卷积网络利用宽高比来辅助判断火柴人的状态，即人体骨骼状态，人体骨骼状态可以分为两种：躺下状态、非躺下状态。

如果最终人体骨骼状态处于躺下状态，则摔倒的二次判断为真，服务器将通知APP告警，同时传递火柴人图像数据至APP，供监控人员或用户查验。如果人体骨骼状态处于非躺下状态，则确定没有发生摔倒现象，服务器将不会通知APP告警，并会向雷达发送取消告警通知。

本发明实施例利用摄像头及神经网络算法，实现了摔倒检测的二次判定，提高了系统的准确率，同时相对传统的视觉检测，无需一直实时传输数据，显著减少流量消耗，也降低了服务器的处理负载，有利于服务器处理更多设备终端任务。此外，通过提取图像中人体骨骼状态，比如以提取火柴人的方式，一方面保证了用户隐私，一方面也提供了原有雷达不存在的视觉取证。

根据本发明的实施例，本发明还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

如图4所示，图4是本发明一实施例提供的电子设备的结构示意图。电子设备旨在各种形式的计算机，诸如，膝上型计算机、个人数字助理和其它适合的计算机。电子设备还可以表示各种形式的移动装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，该电子设备包括：处理器201、存储器202。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。

存储器202即为本发明所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本发明所提供的一种基于雷达的人体姿态判别方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明所提供的一种基于雷达的人体姿态判别方法。

存储器202作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本发明实施例中的一种基于雷达的人体姿态判别方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的一种基于雷达的人体姿态判别方法。

同时，本实施例还提供一种计算机产品，当该计算机产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例的一种基于雷达的人体姿态判别方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。

Claims

1.一种基于雷达的人体姿态判别方法，其特征在于，在用户出入场所处设置有监测雷达和摄像头；

所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行图像识别，以确定目标图像中的人体动作状态，包括：

3.根据权利要求2所述的方法，其特征在于，所述深度卷积网络模型包括特征提取子模型和人体状态识别子模型；

4.根据权利要求3所述的方法，其特征在于，所述人体动作状态包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述人体动作状态判断所述监测雷达的标识对应的监测雷达区域是否发生预设报警姿态，包括：

6.根据权利要求5所述的方法，其特征在于，所述若所述人体动作状态为躺状态，则确定所述监测雷达的标识对应的监测雷达区域发生预设报警姿态之后，还包括：

7.根据权利要求5所述的方法，其特征在于，所述若所述人体动作状态为非躺状态，则确定所述监测雷达的标识对应的监测雷达区域没有发生预设报警姿态之后，还包括：

8.一种基于雷达的人体姿态判别装置，其特征在于，在用户出入场所处设置有监测雷达和摄像头；

所述装置包括：

9.一种电子设备，其特征在于，包括：存储器，处理器；

所述存储器，用于存储所述处理器可执行指令；

其中，所述处理器被配置为由所述处理器执行如权利要求1至7任一项所述的一种基于雷达的人体姿态判别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的一种基于雷达的人体姿态判别方法。