CN111311729A - 一种基于双向投影网络的自然场景三维人体姿态重建方法 - Google Patents

Abstract

本发明公开了一种基于双向投影网络的自然场景三维人体姿态重建方法，针对现有技术中人体三维姿态重建过程仍需改进的问题。该发明含有以下步骤：一、利用相机采集数据；二、将采集的视频、图像数据送入二维姿态检测器获取对应姿态的二维人体关节点坐标；三、根据训练过程有无三维姿态数据标签设计两种结构的双向投影网络；四、利用深度对抗式学习策略对设计好的网络进行训练，最小化网络损失函数，经过迭代最终得到训练好的三维姿态生成器；五、将步骤二中二维姿态检测器的输出结果输入步骤四中训练好的三维姿态生成器。该技术成本低廉，能助力5G时代的VR、AR技术，建立便携式体感交互设备，实现三维动作重建技术的大规模推广与应用。

Description

一种基于双向投影网络的自然场景三维人体姿态重建方法

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于双向投影网络的自然场景三维人体姿态重建方法。

背景技术

在虚拟现实技术和体感人机交互中通常需要对人体的动作进行准确的捕捉，重建出一个运动的人体三维骨骼。现有的方法通常是使用专业的运动捕捉设备(MOCAP)或者是体感摄像机(Kinect)等一些硬件外设来完成三维人体姿态的重建。但是这些专业的设备通常情况下价格高昂，对实验环境要求极高，阻碍了三维姿态重建技术的大范围推广和运用。单目图像中人体3D姿态估计是计算机视觉中的一项艰巨的任务，基于2D关节点的三维姿态重建更是一个棘手的病态问题。现有的多数方法通常依赖成对的标签数据对网络进行有监督的训练，在缺乏标签数据和明确对应关系的情况下模型性能不佳。因此，利用深度学习技术对上述人体三维姿态重建过程进行改进，使得整个过程能够摆脱专业硬件外设的依赖，仅仅依靠普通的手机和相机就能完成自然场景下的三维人体姿态重建。

在现有的深度学习方法中，通常依赖成对的带有标签的人体姿态数据对网络进行训练，在缺乏三维标签和明确对应关系的情况下模型很难进行训练且泛化性能不佳，难以对自然环境下复杂多变的特殊人体姿态进行合理的三维重建。因此设计一种能够在自然场景下进行准确的三维人体姿态重建，且训练过程不依赖标签数据的深度学习方案意义重大，能够以极低的成本取代专业的动作捕捉设备，并且能够完成自然场景下三维姿态的重构。

发明内容

本发明克服了现有技术中人体三维姿态重建过程仍需改进的问题，提供一种能够利用单目相机对自然场景下的人体动作进行三维重建的基于双向投影网络的自然场景三维人体姿态重建方法。

本发明的技术解决方案是，提供一种具有以下步骤的基于双向投影网络的自然场景三维人体姿态重建方法：含有以下步骤：

步骤一、利用相机采集自然场景人体运动视频或者图像数据；

步骤二、将采集的视频、图像数据送入二维姿态检测器获取对应姿态的二维人体关节点坐标；

步骤三、根据训练过程有无三维姿态数据标签设计两种结构的双向投影网络；

步骤四、利用深度对抗式学习策略对设计好的网络进行训练，最小化网络损失函数，经过迭代最终得到训练好的三维姿态生成器；

步骤五、将步骤二中二维姿态检测器的输出结果输入步骤四中训练好的三维姿态生成器，输出结果为视频/图像中人物的三维姿态数据。

优选地，所述步骤一中，采用普通的单目光学相机或者手机摄像头完成自然场景下人物运动数据的采集，数据的形式是图片或视频。

优选地，所述步骤二中，二维姿态检测器为OpenPose、StackHourglass或HRNet的二维姿态检测方法，当采集数据是图片时，直接输入图片得到二维关节点检测结果，当采集数据是视频时，逐帧输入得到二维关节点检测序列。

优选地，所述步骤三中，根据用户是否拥有三维姿态标签数据，选取A/B两种不同结构的双向投影网络，当有三维姿态数据供使用时，双向投影网络工作在A模式,此时网络由两个反向的对偶支路构成，其网络模块包括三维姿态生成器、三维姿态判别器、二维姿态投影层和二维姿态判别器；当无三维姿态数据供使用时，双向投影网络工作在B模式，此时网络由两条不同方向的投影支路构成，其网络模块包括三维姿态生成器、二维姿态投影层和二维姿态判别器。

优选地，所述步骤三中三维姿态生成器的输入为二维关节点坐标，输出为三维关节点坐标，其内部包含两个深度残差网络和一个姿态特征提取层，深度残差网络由四个残差块堆叠构成，每层神经元数目为1024，姿态特征提取层完成对姿态拓扑结构的编码压缩；二维姿态判别器和三维姿态判别器具有相同的网络架构，其内部包含了二/三维姿态特征提取层、深度残差网络和一个全连接层，该二/三维判别器模块输入为不同维度的姿态向量，输出为一个一元判别值；二维姿态投影层内部包含了残差网络正向投影和旋转变换两条支路，根据功能分别将姿态分别投影到不同的观测角度，该二维姿态投影层模块的输入为三维姿态数据，输出为投影后的二维姿态数据。

优选地，所述步骤四包含以下分步骤，

步骤4.1、当存在三维姿态数据可供网络训练时，选择模式A网络架构进行训练；

步骤4.1.1、将二维姿态作为输入，首先经过三维姿态生成器中的残差网络输出一个初始的深度估计值，得到三维姿态的初始估计结果；然后初始估计结果被传入姿态特征提取层，经过姿态先验拓扑结构特征提取输出一个特征向量，该特征向量再次被传入深度残差网络输出最终的深度估计值，生成最终的三维重构姿态；

步骤4.1.2、生成的三维重构姿态一路通过二维姿态投影层得到正向投影，并与输入的二维姿态计算姿态误差，另一路将送入三维姿态判别器计算分布误差；

步骤4.1.3、将三维姿态作为输入，首先经过二维姿态投影层得到正向投影，该正向投影一路被送入三维姿态生成器得到三维重构结果，并与输入的三维姿态计算姿态误差，另一路被送入二维姿态判别器计算分布误差；

步骤4.2、当没有三维姿态数据可供网络训练时，选择模式B网络架构进行训练；

步骤4.2.1、将二维姿态作为输入，首先经过三维姿态生成器中的残差网络输出一个初始的深度估计值，得到三维姿态的初始估计结果；然后初始估计结果被传入姿态特征提取层，经过姿态先验拓扑结构特征提取输出一个特征向量，该特征向量将会再次被传入深度残差网络输出最终的深度估计值，生成最终的三维重构姿态；

步骤4.2.2、将三维重构姿态传入二维姿态投影层，分别得到正向投影与旋转投影，其中正向投影将与输入的二维姿态计算姿态误差，旋转投影将通过二维姿态判别器计算二维分布误差；

步骤4.3、分别计算A/B两种模式下的损失函数，包括姿态损失函数和分布损失函数；

步骤4.3.1、在模式A下，网络整体的损失函数定义为：

loss_A＝L_GAN(G_3d,D_3d)+L_GAN(G_2d,D_2d)+L_dual(G_2d,G_3d)，其中L_GAN代表带有梯度惩罚项的生成对抗网络的损失函数，其反应了分布误差，计算公式如下：

L_dual代表对偶网络的双向损失，其反应了姿态误差，计算公式如下：

L_dual(G_2d,G_3d)＝||G_2d(G_3d(X_2d))-X_2d||₁+||G_3d(G_2d(X_3d))-X_3d||₁

λ为神经网络超参数，G_3d代表三维姿态生成器，G_2d代表二维姿态投影层，D_3d和D_2d分别代表三维姿态判别器与二维姿态判别器，X_2d与X_3d分别代表真实二维姿态与三维姿态，A_3d代表了重构三维姿态分布与真实三维姿态分布采样点连线上的随机三维姿态，A_2d代表了投影二维姿态分布与真实二维姿态分布采样点连线上的随机二维姿态；

步骤4.3.2、在模式B下，网络整体的损失函数定义为：

loss_B＝L_GAN(G_R2dG_3d,D_2d)+L_pose(G_K2dG_3d)，其中L_GAN代表带有梯度惩罚项的生成对抗网络的损失函数，其反应了分布误差，计算公式如下：

L_pose为重构损失，其反应了姿态误差，计算公式如下：

L_pose(G_K2dG_3d)＝||G_K2dG_3d(X_2d)-X_2d||₁

λ为神经网络超参数，G_3d代表三维姿态生成器，G_R2d代表二维姿态投影层旋转投影变换，G_K2d代表二维姿态投影层正向投影变换，D_2d代表二维姿态判别器，X_2d代表真实二维姿态数据，A_2d代表了投影二维姿态分布与真实二维姿态分布采样点连线上的随机二维姿态；

步骤4.4、利用神经网络优化器调整网络参数最小化误差函数，迭代20～40EPOCH后损失函数收敛，得到训练好的三维姿态生成器。

所述步骤五包含以下分步骤，

步骤5.1、将普通相机采集的视频或图像数据传入二维姿态检测器，首先得到二维关节点数据；

步骤5.2、将二维姿态检测器的输出结果进行正规化处理，使其能够直接作为三维姿态生成器的输入；正规化处理具有以下分步骤：

步骤5.2.1、利用检测到的左右肩关节坐标重构中心颈部坐标：

其中：(x_T,y_T)代表中心颈部坐标，(x_ls,y_ls)代表左肩坐标，(x_rs,y_rs)代表右肩坐标；

步骤5.2.2、利用检测到的左右肩关节和髋关节重构中心脊柱坐标：

其中：(x_S,y_S)代表中心脊柱坐标，(x_ls,y_ls)代表左肩坐标，(x_rs,y_rs)代表右肩坐标，(x_lh,y_lh)代表左髋坐标，(x_rh,y_rh)代表右髋坐标；

步骤5.3、将正规化的二维姿态数据传入三维姿态生成器，输出结果即为重建的三维姿态，当输入数据为图像数据时，输出结果为三维人体姿态骨架；当输入数据为视频数据时，输出结果为三维人体骨架动作。

与现有技术相比，本发明基于双向投影网络的自然场景三维人体姿态重建方法具有以下优点：(1)通过采用数据驱动的方式训练深度神经网络，能够直接通过神经网络实现低成本的人体姿态三维重建，不需要任何昂贵的硬件设备，只需要普通相机或者手机就能采集数据，并且基于视觉方法对运动人体进行三维姿态重建，能够替代专业硬件外设完成人体姿态的三维重建。成本低廉，使用方便，能够助力5G时代的VR、AR技术，建立便携式体感交互设备，实现三维动作重建技术的大规模推广与应用。

(2)采用了特有的神经网络训练方式，充分利用了人体姿态数据的生理学结构特点为网络增加了新的约束，因此在网络的训练过程中不依赖于具体的数据标签以及三维数据集可以实现无标签的深度学习训练过程，而且训练好的模型具有很好的泛化性能，可以实现自然场景下复杂的三维人体姿态估计任务。

(3)本发明通过对人体姿态两大特性的研究，设计了双向投影网络。它将数据集包含的姿态先验知识作为一种新的约束加入到网络的训练过程，减轻了模型在训练时对真实3D数据的依赖，能够在不依赖标签数据的情况下进行网络的训练，并且能够实现自然场景下准确的3D人体姿态重建。

附图说明

图1是本发明中双向投影网络A模式网络结构示意图；

图2是本发明中双向投影网络B模式网络结构示意图；

图3是本发明中双向投影网络组成模块的内部结构示意图；

图4是本发明中的整体流程图；

图5是本发明在自然场景下的三维人体姿态重建效果图。

具体实施方式

下面结合附图和具体实施方式对本发明基于双向投影网络的自然场景三维人体姿态重建方法作进一步说明，如图所示，本实施例中介绍本发明的详细提出过程。

一、相关技术的介绍

重构人类在三维空间的姿态动作是计算机视觉的主要目标之一，在上个世纪已经有相关学者对这一问题进行了研究[1]。为了摆脱对专业设备的依赖，早期的一些方法大多是基于特征工程，通过对人类骨骼关节进行运动生理学建模来重构3D姿态[2，3]，或者是基于搜索的方法，使用3D骨架的数据库字典进行最近邻查找，为2D姿态输出对应的3D姿态[4，5]。随着深度学习的发展，研究者试图通过建立一个端到端的模型直接从RGB图像中输出人体的3D姿态[6，7，8，9]，但是自然场景中图像复杂的背景通常会干扰端到端的3D姿态重建过程。近年来，从单目视觉系统中推断3D人体姿态引起了极大的关注，此项技术可以被广泛的应用于动画电影、虚拟现实、行为识别与人机交互。因为从2D观测中恢复3D姿态本身就是一个病态问题，所以这在计算机视觉任务中非常具有挑战性。在自然场景下，受光照、角度以及复杂背景等因素影响，直接推断图像中人体的3D姿态非常的困难，之前的一些工作将这一问题拆分成两部分：首先通过各种先进的2D人体关键点检测器从图像中估计2D姿态，然后在获得的2D姿态基础上进行3D人体姿态重建。其中[10]最先提出了一种简单的基线算法，将3D姿态重建看作是一个2D关节点到3D坐标点的回归任务，利用神经网络完成了高质量的3D姿态重建。[11]进一步将姿态表示成距离矩阵将这一问题转化为二维到三维的距离矩阵回归。[12]将人体姿态看作是一类特殊的拓扑图数据，设计了一种语义图卷积网络(SemGCN)，完成了图结构数据的回归任务。但是这些利用三维标签数据训练网络的方法有两个严重的局限性：(1)因为3D姿态的数据对实验条件要求很高，通常需要在室内利用昂贵的多角度动作捕捉设备捕获人体运动的三维信息，所以现实场景中通常很难获得大量用于训练的3D人体姿态数据；(2)有标签数据训练过程中严格的对应关系会导致单一数据集上的过拟合现象产生，这种过拟合一方面体现在模型无法泛化到其他特殊角度或者从未见过的2D姿态上，另一方面表现在网络只能生成训练集中的3D姿态数据，不能对自然场景下复杂姿态动作做出合理的重建。这两个局限性都是由于训练过程对3D标签数据的依赖造成的。

近年来，2D人体关节点检测算法精确度日益提高，已经能够做到自然场景下实时的2D姿态估计。因此越来越多的研究者致力于利用这些易于获得的2D关节点数据进行3D姿态的重建，也就是分成两步走：首先利用先进的2D人体关节检测器从图像中获得2D姿态，然后将这些2D姿态提升到3D。解决病态问题的关键点在于结合问题特征加入合理的先验信息作为约束，在传统方法中这种约束由人手工设计的正则项提供，通常只能实现单一问题的解。在深度学习时代，利用网络自动的从数据中学习先验信息约束可以看作是解决病态问题的一种新思路，通过大量数据训练的模型就可以解决一类问题。

因此将姿态数据的重要特性抽象出来并作为网络的约束是本发明的主要贡献点。通过对姿态数据生理学结构特点的研究，本发明利用深度学习技术设计了双向投影网络，它具有A/B两种工作模式，能够在有三维数据标签和无标签数据的情况下分别进行网络的训练，训练好的网络能够完成自然场景下复杂的三维人体姿态重建任务。

二、提出的方法

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：参阅图1-5，一种基于双向投影网络的自然场景三维人体姿态重建方法的整体流程图如图4所示，当利用单目相机拍摄得到图片或者视频之后，首先经过二维姿态检测网络(OpenPose，HRNet，StackHourglass)获得对应的二维人体姿态，并得到二维关节点检测结果。在将数据送入三维姿态生成器之前，需要根据是否拥有三维标签数据选择相应的模式对三维姿态生成器进行训练。当有三维姿态标签数据时，双向投影网络工作在A模式，当没有三维姿态标签数据时，双向投影网络工作在B模式。用户可以根据自己是否拥有三维人体姿态数据，选择对应的模式对网络进行训练。

当选取模式A时，双向投影网络训练过程具有如图1所示的结构，二维姿态数据与三维姿态数据分别被送入双向网络的两个支路。第一条支路中，输入的二维姿态首先经由三维姿态生成器生成三维姿态重构结果，此重构结果再经由二维姿态投影层重新生成二维投影结果；第二条支路中，输入的三维姿态首先传入二维姿态投影层，然后将输出结果再送入三维姿态生成器完成第二次重构。两条支路完成了一个对偶的运算过程，在两个过程中需要分别对重构姿态的误差进行计算，误差分为分布误差以及姿态误差，整个网络的损失函数为：

loss_A＝L_GAN(G_3d,D_3d)+L_GAN(G_2d,D_2d)+L_dual(G_2d,G_3d)，

其中L_GAN代表带有梯度惩罚项的生成对抗网络的损失函数，其反应了分布误差，计算公式如下：

L_dual代表对偶网络的双向损失，其反应了姿态误差，计算公式如下：

L_dual(G_2d,G_3d)＝||G_2d(G_3d(X_2d))-X_2d||₁+||G_3d(G_2d(X_3d))-X_3d||₁

λ为神经网络超参数，G_3d代表三维姿态生成器，G_2d代表二维姿态投影层，D_3d和D_2d分别代表三维姿态判别器与二维姿态判别器，X_2d与X_3d分别代表真实二维姿态与三维姿态，A_3d代表了重构三维姿态分布与真实三维姿态分布采样点连线上的随机三维姿态，A_2d代表了投影二维姿态分布与真实二维姿态分布采样点连线上的随机二维姿态；

当选取模式B时，双向投影网络训练过程具有如图2所示的结构，B模式不需要任何标签数据，输入的二维姿态首先经过三维姿态生成器得到重构结果，然后此三维姿态将经过二维姿态投影层完成两种投影变化，一个支路将三维姿态投影到正向观测视角得到正向二维投影结果，另一个支路将三维姿态结果进行旋转投影变换得到其他视角观测结果。此时的两条支路完成了两种不同的观测过程，对这两种观测结果分别进行两种约束同样可以得到姿态误差以及分布误差，整个网络的损失函数为：

loss_B＝L_GAN(G_R2dG_3d,D_2d)+L_pose(G_K2dG_3d)，

其中L_GAN代表带有梯度惩罚项的生成对抗网络的损失函数，其反应了分布误差，计算公式如下：

L_pose为重构损失，其反应了姿态误差，计算公式如下：

L_pose(G_K2dG_3d)＝||G_K2dG_3d(X_2d)-X_2d||₁

λ为神经网络超参数，G_3d代表三维姿态生成器，G_R2d代表二维姿态投影层旋转投影变换，G_K2d代表二维姿态投影层正向投影变换，D_2d代表二维姿态判别器，X_2d代表真实二维姿态数据，A_2d代表了投影二维姿态分布与真实二维姿态分布采样点连线上的随机二维姿态；

在训练过程中，双向投影网络的A/B两种模式共用了同一套网络模块，网络的组成模块如图3所示，其中包括三维姿态生成器、二/三维姿态判别器以及二维姿态投影层。

其中三维姿态生成器内部包含两个深度残差网络和一个姿态特征提取层，深度残差网络由四个残差块堆叠构成，每层神经元数目为1024，输入的二维姿态首先经过残差网络输出一个初始的深度估计值得到三维姿态的初始估计结果，然后初始估计结果被传入姿态特征提取层，经过姿态先验拓扑结构特征提取，三维姿态将会被编码成一个包含空间角度以及深度信息的特征向量，这个特征向量将会再次被传入深度残差网络输出最终的深度估计值，生成最终的三维重构姿态。

二维姿态判别器和三维姿态判别器具有相同的网络架构，主要差别在于特征提取层的不同，两种维度的姿态首先经过对应的姿态特征提取层编码成一个包含运动姿态拓扑结构的特征向量，然后再经过深度残差网络和全连接层输出最终的判别值，完成对两个分布之间差异的计算。

二维姿态投影层包含了两条支路，分别可以将姿态分别投影到不同的角度，正向视角的观测通过多个残差块连接的深度残差网络完成，其他旋转视角的观测则通过对姿态旋转变换层来实现。

其中正向投影的变换过程如下：

X_2d＝G_2d(X_3d)

旋转投影的变换过程如下：

X_2d＝G_R2dX_3d

其中X_2d代表二维姿态，X_3d代表三维姿态，G_2d代表深度残差网络投影变换，G_R2d代表旋转变换。

其中旋转变换矩阵：

通过以上各模块的组合，可以构成双向投影网络的A、B两种训练模式，根据实际情况选取对应的模式进行网络的训练，不断迭代最小化误差函数，经过20～40EPOCH网络训练，最终可以得到训练好的三维姿态生成器。

然后将之前检测到的二维姿态经过如下的正规化处理：

1.利用检测到的左右肩关节坐标重构中心颈部坐标：

其中：(x_T,y_T)代表中心颈部坐标，(x_ls,y_ls)代表左肩坐标，(x_rs,y_rs)代表右肩坐标；

2.利用检测到的左右肩关节和髋关节重构中心脊柱坐标：

其中：(x_S,y_S)代表中心脊柱坐标，(x_ls,y_ls)代表左肩坐标，(x_rs,y_rs)代表右肩坐标，(x_lh,y_lh)代表左髋坐标，(x_rh,y_rh)代表右髋坐标；

将正规化处理的二维人体姿态传入训练好的三维姿态生成器，三维姿态生成器会依照二维的检测结果输出一个符合人体姿态拓扑结构的三维人体骨架，连接各帧视频的骨架序列，就可以实现对视频中三维人体姿态的重建，因为本发明的方法中直接采用了二维姿态检测器的估计结果，所以模型具有很强的泛化性能，能够针对自然场景下一些特殊的姿态做出合理的三维重建效果。所发明方法的重建效果如图5所示。

三、参考文献，申请文件中括号内带有的数字，就是指代下面该数字对应的文献。

[1]H.-J.Lee and Z.Chen.Determination of 3d human body postures from asingle view.Computer Vision,Graphics,and Image Processing,30(2):148–168,1985.

[2]V.Ramakrishna,T.Kanade,and Y.Sheikh.Reconstructing 3d human posefrom 2d image landmarks.In European Conference on Computer Vision(ECCV),pages573–586.Springer,2012.

[3]C.Ionescu,J.Carreira,and C.Sminchisescu.Iterated second-orderlabel sensitive pooling for 3d human pose estimation.In Conference onComputer Vision and Pattern Recognition(CVPR),pages 1661–1668,2014.2

[4]H.Jiang.3d human pose reconstruction using millions ofexemplars.In International Conference on Pattern Recognition(ICPR),pages1674–1677.IEEE,2010.

[5]C.-H.Chen and D.Ramanan.3D human pose estimation＝2D poseestimation+matching.In Conference on Computer Vision and Pattern Recognition(CVPR),pages 5759–5767,2017.

[6]S.Li and A.B.Chan.3d human pose estimation from monocular imageswith deep convolutional neural network.In Asian Conference on Computer Vision(ACCV),pages 332–347.Springer,2014.

[7]D.Mehta,S.Sridhar,O.Sotnychenko,H.Rhodin,M.Shafiei,H.-P.Seidel,W.Xu,D.Casas,and C.Theobalt.Vnect:Real-time 3d human pose estimation with asingle rgb camera.volume 36,72017.

[8]B.Tekin,I.Katircioglu,M.Salzmann,V.Lepetit,and P.Fua.Structuredprediction of 3d human pose with deep neural networks.In British MachineVision Conference(BMVC),2016.

[9]G.Pavlakos,X.Zhou,K.G.Derpanis,and K.Daniilidis.Coarse-to-finevolumetric prediction for single-image 3d human pose.In Conference onComputer Vision and Pattern Recognition(CVPR),pages 1263–1272.IEEE,2017.

[10]J.Martinez,R.Hossain,J.Romero,and J.J.Little.A simple yeteffective baseline for 3d human pose estimation.In ICCV,2017.

[11]F.Moreno-Noguer.3d human pose estimation from a single image viadistance matrix regression.In Proceedings of the Conference on ComputerVision and Pattern Recognition(CVPR),2017.1

[12]Zhao L,Peng X,Tian Y,et al.Semantic Graph Convolutional Networksfor 3D Human Pose Regression[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2019:3425-3435.

Claims (7)

1.一种基于双向投影网络的自然场景三维人体姿态重建方法其特征在于：含有以下步骤：

步骤一、利用相机采集自然场景人体运动视频或者图像数据；

步骤二、将采集的视频、图像数据送入二维姿态检测器获取对应姿态的二维人体关节点坐标；

步骤三、根据训练过程有无三维姿态数据标签设计两种结构的双向投影网络；

步骤四、利用深度对抗式学习策略对设计好的网络进行训练，最小化网络损失函数，经过迭代最终得到训练好的三维姿态生成器；

步骤五、将步骤二中二维姿态检测器的输出结果输入步骤四中训练好的三维姿态生成器，输出结果为视频/图像中人物的三维姿态数据。

2.根据权利要求1所述的基于双向投影网络的自然场景三维人体姿态重建方法，其特征在于：所述步骤一中，采用普通的单目光学相机或者手机摄像头完成自然场景下人物运动数据的采集，数据的形式是图片或视频。

3.根据权利要求1所述的基于双向投影网络的自然场景三维人体姿态重建方法，其特征在于：所述步骤二中，二维姿态检测器为OpenPose、StackHourglass或HRNet的二维姿态检测方法，当采集数据是图片时，直接输入图片得到二维关节点检测结果，当采集数据是视频时，逐帧输入得到二维关节点检测序列。

4.根据权利要求1所述的基于双向投影网络的自然场景三维人体姿态重建方法，其特征在于：所述步骤三中，根据用户是否拥有三维姿态标签数据，选取A/B两种不同结构的双向投影网络，当有三维姿态数据供使用时，双向投影网络工作在A模式,此时网络由两个反向的对偶支路构成，其网络模块包括三维姿态生成器、三维姿态判别器、二维姿态投影层和二维姿态判别器；当无三维姿态数据供使用时，双向投影网络工作在B模式，此时网络由两条不同方向的投影支路构成，其网络模块包括三维姿态生成器、二维姿态投影层和二维姿态判别器。

5.根据权利要求1所述的基于双向投影网络的自然场景三维人体姿态重建方法，其特征在于：所述步骤三中三维姿态生成器的输入为二维关节点坐标，输出为三维关节点坐标，其内部包含两个深度残差网络和一个姿态特征提取层，深度残差网络由四个残差块堆叠构成，每层神经元数目为1024，姿态特征提取层完成对姿态拓扑结构的编码压缩；二维姿态判别器和三维姿态判别器具有相同的网络架构，其内部包含了二/三维姿态特征提取层、深度残差网络和一个全连接层，该二/三维判别器模块输入为不同维度的姿态向量，输出为一个一元判别值；二维姿态投影层内部包含了残差网络正向投影和旋转变换两条支路，根据功能分别将姿态分别投影到不同的观测角度，该二维姿态投影层模块的输入为三维姿态数据，输出为投影后的二维姿态数据。

6.根据权利要求1所述的基于双向投影网络的自然场景三维人体姿态重建方法，其特征在于：所述步骤四包含以下分步骤，

步骤4.1、当存在三维姿态数据可供网络训练时，选择模式A网络架构进行训练；

步骤4.1.1、将二维姿态作为输入，首先经过三维姿态生成器中的残差网络输出一个初始的深度估计值，得到三维姿态的初始估计结果；然后初始估计结果被传入姿态特征提取层，经过姿态先验拓扑结构特征提取输出一个特征向量，该特征向量再次被传入深度残差网络输出最终的深度估计值，生成最终的三维重构姿态；

步骤4.1.2、生成的三维重构姿态一路通过二维姿态投影层得到正向投影，并与输入的二维姿态计算姿态误差，另一路将送入三维姿态判别器计算分布误差；

步骤4.1.3、将三维姿态作为输入，首先经过二维姿态投影层得到正向投影，该正向投影一路被送入三维姿态生成器得到三维重构结果，并与输入的三维姿态计算姿态误差，另一路被送入二维姿态判别器计算分布误差；

步骤4.2、当没有三维姿态数据可供网络训练时，选择模式B网络架构进行训练；

步骤4.2.1、将二维姿态作为输入，首先经过三维姿态生成器中的残差网络输出一个初始的深度估计值，得到三维姿态的初始估计结果；然后初始估计结果被传入姿态特征提取层，经过姿态先验拓扑结构特征提取输出一个特征向量，该特征向量将会再次被传入深度残差网络输出最终的深度估计值，生成最终的三维重构姿态；

步骤4.2.2、将三维重构姿态传入二维姿态投影层，分别得到正向投影与旋转投影，其中正向投影将与输入的二维姿态计算姿态误差，旋转投影将通过二维姿态判别器计算二维分布误差；

步骤4.3、分别计算A/B两种模式下的损失函数，包括姿态损失函数和分布损失函数；

步骤4.3.1、在模式A下，网络整体的损失函数定义为：

loss_A＝L_GAN(G_3d,D_3d)+L_GAN(G_2d,D_2d)+L_dual(G_2d,G_3d)，其中L_GAN代表带有梯度惩罚项的生成对抗网络的损失函数，其反应了分布误差，计算公式如下：

L_dual代表对偶网络的双向损失，其反应了姿态误差，计算公式如下：

L_dual(G_2d,G_3d)＝||G_2d(G_3d(X_2d))-X_2d||₁+||G_3d(G_2d(X_3d))-X_3d||₁

λ为神经网络超参数，G_3d代表三维姿态生成器，G_2d代表二维姿态投影层，D_3d和D_2d分别代表三维姿态判别器与二维姿态判别器，X_2d与X_3d分别代表真实二维姿态与三维姿态，A_3d代表了重构三维姿态分布与真实三维姿态分布采样点连线上的随机三维姿态，A_2d代表了投影二维姿态分布与真实二维姿态分布采样点连线上的随机二维姿态；

步骤4.3.2、在模式B下，网络整体的损失函数定义为：

loss_B＝L_GAN(G_R2dG_3d,D_2d)+L_po_se(G_K2dG_3d)，其中L_GAN代表带有梯度惩罚项的生成对抗网络的损失函数，其反应了分布误差，计算公式如下：

L_pose为重构损失，其反应了姿态误差，计算公式如下：

L_pose(G_K2dG_3d)＝||G_K2dG_3d(X_2d)-X_2d||₁

λ为神经网络超参数，G_3d代表三维姿态生成器，G_R2d代表二维姿态投影层旋转投影变换，G_K2d代表二维姿态投影层正向投影变换，D_2d代表二维姿态判别器，X_2d代表真实二维姿态数据，A_2d代表了投影二维姿态分布与真实二维姿态分布采样点连线上的随机二维姿态；

步骤4.4、利用神经网络优化器调整网络参数最小化误差函数，迭代20～40EPOCH后损失函数收敛，得到训练好的三维姿态生成器。

7.根据权利要求1所述的基于双向投影网络的自然场景三维人体姿态重建方法，其特征在于：所述步骤五包含以下分步骤，

步骤5.1、将普通相机采集的视频或图像数据传入二维姿态检测器，首先得到二维关节点数据；

步骤5.2、将二维姿态检测器的输出结果进行正规化处理，使其能够直接作为三维姿态生成器的输入；正规化处理具有以下分步骤：

步骤5.2.1、利用检测到的左右肩关节坐标重构中心颈部坐标：

其中：(x_T,y_T)代表中心颈部坐标，(x_ls,y_ls)代表左肩坐标，(x_rs,y_rs)代表右肩坐标；

步骤5.2.2、利用检测到的左右肩关节和髋关节重构中心脊柱坐标：

其中：(x_S,y_S)代表中心脊柱坐标，(x_ls,y_ls)代表左肩坐标，(x_rs,y_rs)代表右肩坐标，(x_lh,y_lh)代表左髋坐标，(x_rh,y_rh)代表右髋坐标；

步骤5.3、将正规化的二维姿态数据传入三维姿态生成器，输出结果即为重建的三维姿态，当输入数据为图像数据时，输出结果为三维人体姿态骨架；当输入数据为视频数据时，输出结果为三维人体骨架动作。

Images