基于注意力机制的深度学习体育运动姿态估计技术

魏玉福，陈丽萍

（包头医学院卫生健康学院，内蒙古包头 014030）

二维人体姿态估计（2D human pose estimation）[1-2]是计算机视觉研究领域的重要方向之一。人体2D姿态估计主要通过检测人体的各个部位，勾勒出人体姿态的抽象轮廓，在实际中可应用于体育运动肢体识别[3-4]、智能检测[5]等。

人体姿态估计问题的研究近年来也引起了众多科研人员的关注。基于图结构（Pictorial Structures）模型[6-7]是传统的姿态估计算法中主要应用到的模型结构之一，但传统姿态估计方法具备单一性，对于复杂多变的人体姿态而言检测效果并不好。结合深度学习的人体姿态估计技术近年来取得了显著进展。如Toshev 等人通过对人体姿态进行了上下文全局估计，提出了完全DeepPose[8-9]姿态估计神经网络模型，该模型推进了姿态估计研究领域的发展。

针对人体姿态估计问题，该文结合HRNet（High Resolution Networks）[10-11]姿态估计神经网络模型，提出了一种结合注意力机制实现的运动人体姿态估计方法，该方法将空间注意力机制提取的丰富特征信息融入到HRNet 网络当中，构建了更加准确的人体姿态估计模型，并在实验中表现出了较好的效果。

基于注意力机制[12-13]的深度学习姿态估计技术的整体流程主要是基于HRNet 姿态估计神经网络模型，在高分辨率与低分辨率连接的并行网络中间添加了空间注意力模块，以提取各层次间的注意力特征图，并融合到后面的高分辨率网络层次当中，丰富了特征层次，以达到更好的姿态估计效果，基于空间注意力机制的深度学习体育运动姿态估计模型整体如图1 所示。

图1 基于注意力机制的深度学习姿态估计网络

注意力机制是将计算机聚焦于局部显著信息的机制，随着执行任务的变化，注意力区域一般会发生一定的变化，其本质是消除无用信息的影响，快速标记相应任务的感兴趣区域，通常以概率图或者概率特征向量的方式实现。常用的注意力机制包含通道注意力[14]与空间注意力机制[15-16]。

1）通道注意力机制

通道注意力机制主要是以通道全局特征为基准获取特征图通道间的权重值[17]，以自适应调整各个通道特征响应值，实现了在多通道进行特征注意力结合，通道注意力机制的一般网络结构如图2 所示。

图2 通道注意力模块图示

通道注意力首先对长宽以及通道数为H1×W1×C1的输入X进行特征提取，来获取U，再使用全局平均池化方式生成1×1×C大小的通道信息统计映射描述符，如式（1）所示：

式中，H与W分别为输入特征图的长宽，U(i,j)为特征图每一点的像素，获取的通道信息统计映射描述符，再进行Sigmoid 门限机制进行权重映射，使其权重映射在区间（0,1）中，如式（2）所示：

F(out)为映射后的通道权重值，最后将权重F(out)与输入特征图在对应的每个通道上进行乘积，获取通道注意力特征视图，如式（3）所示：

式中，Xm为获取的最终通道注意力特征图，Fscle为对权重与特征图通道的乘积操作。

2）空间注意力机制

空间注意力机制是给每个像素计算注意力采纳数，以实现全图范围的特征提取，从而有效地弥补了卷积操作因感受野有限导致的全局特征提取能力不足问题，其一般流程如图3 所示。

图3 空间注意力模块图示

首先，对图像生成P1，如式（4）所示：

式中，Favg与Fmax分别对应平均池化与最大池化操作，将Favg与Fmax进行连接生成P1，并通过7×7 的卷积层进行卷积操作，生成特征图Conv1，最后通过Sig(sigmoid)函数生成空间注意力图，具体的计算公式如式（5）所示：

式中，Fout为空间注意力图，f7×7为7×7 的卷积操作，以扩大感受野。该文将空间注意力机制与HRNet 网络进行融合，以提取多维度的图像特征，实现高精度的姿态估计方法。

实验选择了HRNet、DeepPose 作为对比实验方法，开展实验验证，并且对该文提出的基于注意力机制的深度学习姿态估计方法从姿态估计精度AP(Average Precision)以及姿态估计速度（张/s）方面进行对比评价，其中AP 即为检测效果与真实姿态轮廓的比值。

实验过程选择了统一的实验环境，其软硬件实验配置如表1 所示。

表1 实验环境配置表

实验选择了1 200 张不同的体育运动人体姿态图作为数据集，其中1 100 张作为训练集，其余200张姿态图像作为测试集，其中部分体育运动人体姿态图如图4 所示。

图4 实验数据图像

分别基于HRNet、DeepPose 以及该文提出的结合空间注意力机制的深度学习姿态估计方法对部分样例进行姿态估计测试，可得到如图5 所示的结果图像。

图5 基于不同方法获取的实验结果图像

对实验结果数据基于姿态检测精度以及姿态估计速度进行统计，如表2 所示。

表2 姿态估计结果数据对比

基于图5 中实验数据进行主观对比分析，可以看出，该文提出的基于注意力机制的深度学习姿态估计方法对于运动人体的姿态轮廓估计更加连续，也比较细致；
也充分验证了该文提出的基于注意力机制的深度学习姿态估计方法的可行性。

结合表2 中的姿态估计结果数据对比数据进行客观分析可知，该文提出的基于注意力机制的深度学习姿态估计方法与经典的HRNet 与DeepPose 方法相比较，姿态估计精度最高，虽然该方法增加了注意力机制模块而提升了参数量，造成了姿态估计速度低于HRNet 方法，但仍然具备较高的姿态估计效率。

综上所述，该文提出的基于注意力机制的深度学习姿态估计方法充分结合注意力机制提取的有效姿态特征，实现了较高的姿态估计精度，与其他两种方法相比较，具备较好的姿态估计效果。

该文针对现有的基于深度学习的姿态估计问题，提出了一种基于注意力机制的深度学习姿态估计方法，该技术充分结合注意力机制的优势，嵌入至HRNet 网络内部，在多分辨率特征传输过程中进行了交叉空间注意力特征提取，结合网络上下层信息，实现了高精度的姿态估计方法，并通过一系列对比体育运动姿态提取实验验证，充分验证了该文提出的基于注意力机制的深度学习姿态估计方法的有效性。

接下来的研究工作将着重于对姿态估计特征的深层次提取，结合Transform 模型结构，实现基于注意力机制的深层次姿态估计策略。