基于3D-2D映射的大姿态人脸识别

李晓峰，游志胜

(四川大学计算机学院，成都 610065)

当前基于2D人脸识别方法主要能克服小姿态偏转情况.但头部的刚性旋转角度过大会伴随自遮挡效应，使得人脸大量细节特征信息丢失.姿态的变化也会导致面部纹理位置发生非线性变化，使得部分语义信息丢失.此外，姿态变化通常还会与其他干扰因素同时发生，如非均匀光照等，从而造成识别率极大降低.克服大姿态人脸识别面临的挑战，已成为无约束场景下人脸识别技术研究的主要方向.

为了解决大姿态条件下人脸识别率低的问题，相关研究学者已经提出了一系列解决方法，依据数据类别主要分为三大类：(1)基于二维可见光人脸的识别方法[1-6]；
(2)基于三维人脸的识别方法[7-9]；
(3)基于三维人脸对二维人脸的识别方法[10-12].二维可见光人脸图像对姿态、光照[13, 14]等因素较为敏感，当人脸姿态超过一定范围、图像高曝光以及低光照场景，识别准确性会大幅下降.当前基于2D人脸识别的大姿态解决方案主要分为两种，一种是通过姿态人脸生成正面人脸，之后对正面人脸进行特征提取和识别；
另一种则是基于不变表征的学习方法.Zhang等[15]提出的解耦表征学习方法通过对比两张图片，剔除姿态、光照等与识别无关的因素，提取出具有姿态鲁棒性的人脸特征.赵澜涛等[16]提出基于双路卷积神经网络的算法，通过将人脸投影到高维特征空间达到分离姿态信息的效果，从而对姿态人脸进行识别.Luan等[17]引入了生成对抗网络到解耦表征学习框架中，通过生成器生成姿态人脸，通过判别器分类姿态人脸，从而提取出具有姿态鲁棒性的人脸特征.鉴于三维人脸模型对姿态、光照等因素相对不敏感，能够更加客观地反应人脸的几何结构信息，因此具备更强的身份判别能力，在识别准确率和鲁棒性等方面都优于二维人脸识别，使得三维人脸识别相对二维人脸识别占据很大优势.但仅靠三维人脸识别依然存在采集环境设备成本高、要求用户配合程度高、数据处理算法复杂等多方面问题，相对于二维人脸识别面临更多的应用限制.相比而言，本文提出的方法仅仅利用3D人脸丰富的姿态信息，基于现有的深度人脸特征提取方法来提升大姿态人脸识别准确率，这可以很好地利用现有二维人脸识别的基础，降低三维人脸识别应用的门槛，还可以充分利用三维人脸的全脸信息.

针对上述问题，本文提出一种基于3D-2D映射的大姿态人脸识别算法框架.该框架试图挖掘三维人脸的丰富姿态信息来扩充训练数据，进而构建特定姿态特征提取模型.因此提出方法主要优势如下：(1)利用三维人脸信息来辅助2D人脸模型训练；
(2)简化模型设计的同时，不增加额外的训练负担，避免直接三维人脸特征提取的复杂工作.

本文提出的基于3D-2D映射的大姿态人脸识别算法框架如图1所示.

图1 基于3D-2D映射的大姿态人脸识别算法流程示意图

图1中的框架主要分为两个阶段：训练阶段和测试阶段(模型推理阶段).在训练阶段，该方法首先构建多姿态人脸训练数据库.具体步骤是首先获取三维人脸数据，然后将三维人脸数据进行左右偏转角、俯仰角等不同角度投影，得到不同姿态的二维人脸数据集.为建立鲁棒性的姿态特征提取模型，需对获取的丰富姿态进行姿态分类和分组，针对不同姿态数据集分别训练得到相应姿态人脸特征提取模型，最终得到多姿态人脸特征提取模型集合.在测试阶段，输入二维人脸图像通过姿态估计算法得到姿态信息，利用姿态信息在多姿态人脸特征提取模型集合中进行相应姿态模型选择，用于将注册的三维人脸模型按照姿态信息进行投影的二维纹理图像和输入图像进行人脸特征提取，进而做特征比对和识别.

2.1 3D-2D人脸姿态数据生成

本文首先将三维人脸模型按照角度投影到二维图像空间，之后基于二维多姿态人脸纹理识别模型进行人脸识别.因此，3D-2D人脸姿态数据生成是本文提出框架的重要组成部分.考虑到RGB图像更符合视觉习惯且三维人脸模型投影到二维空间存在信息丢失的问题，本文采用多角度投影方法，将三维人脸模型按角度依次投影为多张不同视角的RGB图像，分别是俯仰角(pitch)，左右偏转角(yaw).左右偏转角范围为[-90°，+90°]、俯仰角范围为[-60°，+60°].

图2 三维人脸坐标系

(1)

其中

(2)

(3)

(4)

(5)

像素点(ai，hi)的纹理值即：

img(ai，hi，1)=Ri，img(ai，hi，2)=Gi，

img(ai，hi，3)=Bi

(6)

(7)

则：

(8)

基于3D-2D人脸姿态数据生成结果如图3所示.

图3 基于3D-2D人脸姿态数据生成结果示例

通过基于3D-2D映射的多姿态人脸数据生成算法得到不同姿态的数据集，考虑到实际场景下人脸姿态分布等信息，将偏转角划分为以下7个区间：[-90°，-75°]，[-75°，-60°]，[-60°，-30°]，[-30°，+30°]，[+30°，+60°]，[+60°，+75°]，[+75°，+90°].俯仰角按照投影间隔为20°划分为6个区间.因此，投影所得人脸数据共分42种姿态数据集.

本文采用轻量级模型LightCNN-9[18]进行人脸特征提取，该模型通过拓展maxout激活函数，实现对噪声的过滤和有用信号的保留，从而获取更好的特征图MFM(Max-Feature-Map).如图4所示为本文采用的MFM2/1原理示意图.与maxout激活函数不同的是，MFM使用足够的隐藏神经元来近似凸函数，仅抑制少量神经元使CNN模型变得轻小和健壮.MFM在CNN中起到类似生物中局部特征选择的角色，在不同位置挑选不同滤波器学到最优特征.虽然MFM层的梯度是稀疏的，但是伴有MFM的CNN可以获得更紧凑的表征.MFM通过激活前面卷积层的特征图最大值获取更多富有竞争力的节点，所以MFM可以实现特征选择并加速生成稀疏连接.

图4 MFM 2/1通过竞争关系抑制神经元原理图

本文采用ArcFace[9，20]基础上改进对特征向量归一化和加性角度间隔，提高类间可分性，同时加强类内紧度和类间差异.如式(9)所示，xi表示第i个样本对应的特征向量，属于第yi类.Wj是权重矩阵W的第j列.输入图像的批量大小为N.θj是权重Wj和特征xi之间的角度，s为特征尺度，m为附加的角边距惩罚项.

(9)

其中：

通过不同姿态数据集进行相应的姿态人脸特征提取模型训练，最终得到7个姿态人脸特征提取模型集合供后续人脸识别过程中的人脸特征提取选择.

考虑到为了得到鲁棒性的姿态人脸特征提取模型，本文划分了不同的姿态范围分别针对特定姿态进行模型训练.考虑在实际模型部署过程中，同时用所有训练好的模型进行特征提取和比对极度耗时，而且我们也很难利用已有的3D人脸信息.为此，本文构建了一个基于姿态估计的大姿态人脸识别测试框架.该框架主要分为三部分：(1)待测试图像姿态估计及模型选择和特征提取；
(2)3D注册人脸模型特定姿态投影及模型选择和特征提取；
(3)人脸姿态特征比对及识别.

基于以上三个步骤，本文提出的大姿态人脸比对算法框架相对于常规的2D人脸特征比对框架而言，在不增加额外计算复杂的前提下，显著提升人脸姿态识别的准确性，同时又极大利用了现有的三维人脸图像信息.

3.1 数据集

考虑到本文提出的算法框架主要依赖于3D人脸数据，而当前开源人脸识别数据集很难满足实际的训练要求.本文在训练过程中构建了一个混合3D-2D人脸识别数据库Hybrid 3D+2D(Face Recognition DataSet,HFRD).在测试过程中为了分别评估本文提出的人脸识别算法框架的泛化性和有效性，本文分别在实验室场景下和无约束自然场景下验证所提算法框架的性能.进一步，本文分别构建了约束场景下的人脸识别基准集(Constrained Face Recognition Ground-Truth DataSet，CFRGT)和无约束条件下的人脸识别基准集(Unconstrained Face Recognition Ground-Truth DataSet，UCFRGT).

(1)HFRD数据库：该数据库首先融合了1000个个体的高精度三维人脸数据以及对应的多姿态二维人脸图像，并按角度进行姿态类别分组.考虑到1000个训练数据量严重不足，数据库又融入了如300W-LP[21]和Multi-pie[22]等公开人脸数据集，并对这些公开人脸数据集的人脸姿态进行人工筛选、标记和分组.通过融合不同数据库样本图像，同时采取数据增强来扩充人脸样本数据，最终达到共计1万人的约50万二维人脸纹理图像训练样本.样本如图5所示.

图5 HFRD数据样本示例

(2)CFRGT数据库：该数据库在实验室环境下采集，包含388个个体的高精度三维人脸数据信息和对应的多角度二维人脸姿态图像.其中，三维人脸图像采用川大智胜公司的精度为0.1 mm的高精度三维人脸全脸照相机获取，二维人脸姿态图像采用相机弧度拍摄，收集人脸pitch和yaw角度方向人脸姿态信息，其中Pitch∈[-60°，+60°]，yaw∈[-90°，+90°].该数据用于评估一定约束条件下的基于3D-2D映射的大姿态人脸识别算法的性能.数据样本如图6所示.

图6 CFRGT数据样本示例：(a)三维纹理投影图像；
(b)二维姿态图像

(3)UCFRGT：该数据采集了107个个体的高精度三维人脸图像信息和非约束条件下的二维人脸姿态图像.其中，高精度三维人脸图像采用川大智胜公司的高精度三维人脸全脸照相机获取，无约束二维人脸图像采集使用监控摄像头获取，在动态监控场景下随机获取每个注册人脸的130张二维人脸姿态图像.该数据用于评估非约束条件下的基于3D-2D映射的大姿态人脸识别算法的性能.数据样本如图7所示.

图7 UCFRGT数据样本示例：(a)三维纹理投影图像；
(b)实际场景抓拍图像

针对本文提出的3D-2D人脸识别框架，区别于常规的人脸识别算法评估基准，本文采用了新的评估指标来衡量算法性能，即排序提升率、TOP-1和TOP-5命中率.其定义如下：

(1)排序提升率= 结果排前率-结果靠后率；

(2)结果排前率=结果排前总数/测试样本总数)*100%；

(3)结果靠后率=(结果靠后总数/测试样本总数)*100%.

采用排序提升率指标主要用来反映三维方法是否对结果排序产生了较大的影响，是否有改善整体的趋势.该方法能够有效地反映引入三维信息对人脸识别结果的改善程度.TOP-1和TOP-5命中率指标定义如下：

(1)TOP-1：输入一张query图像，该人在Rank1出现，则视为命中；

(2)TOP-1命中率：命中总数/query总数；

(3)TOP-5：输入一张query进去，该人在Rank5或之前出现，视为命中；

(4)TOP-5命中率：命中总数/query总数.

3.3 对比方法及评估设置

为进一步比较提出方法的综合性能，本文采用了人脸姿态鲁棒性表征的识别方法作为对比方法.为方便后续介绍，本章提出的基于3D-2D映射的大姿态人脸识别(3D-2D Face Pose Robust Recognition，3D-2D_FPRR)作为基准算法，考虑到对比方法仅采用了2D人脸图像来进行训练，用2D_FPRR指代对比方法.

为进一步衡量算法对于不同姿态识别性能，本文对测试集进行了划分.考虑人脸姿态yaw方向的变化对人脸影响最大，本文针对yaw方向姿态变化进行划分为[-90°，-75°]，[-75°，-60°]，[-60°，-30°]，[-30°，+30°]，[+30°，+60°]，[+60°，+75°]，[+75°，+90°]等7个区间测试集合，并针对这些测试结果进行实验的评估.即图1中N=7.

此外，本章为了衡量提出方法能够应用于大姿态人脸识别构建了4个测试数据库，分别是基础三维测试库、三维测试库、基础二维测试库和二维测试库.本文还构建了一个查询数据库用于动态识别场景应用下对识别方法的测试.每个数据库详细信息如表1所示.

表1 算法测试数据集

3.4 实验结果

3.4.1 CFRGT数据集 表2给出了提出方法的整体测试比对结果.实验结果表明，通过引入高精度三维人脸信息可以明显提升算法性能指标.在3D-2D_FPRR算法的前提下，基础三维测试库比基础二维测试库的TOP-1命中率提升5.68%，TOP-5命中率提升2.5%，三维测试库相对于二维测试库的TOP-1命中率提升10.08%，TOP-5命中率提升5.15%.在2D_FPRR算法的前提下，基础三维测试库比基础二维测试库的TOP-1命中率提升9.67%，TOP-5命中率提升3.2%，三维测试库相对于二维测试库的TOP-1命中率提升14.03%，TOP-5命中率提升11.25%.本节进一步计算了提出方法的三维排前率、三维靠后率和排序提升率，具体结果见表3.

表2 CFRGT数据库方法评估结果

表3 CFRGT数据库方法性能比较

基于CFRGT数据集对不同姿态人脸正确识别率进行统计和分析的结果如表4所示.实验结果表明，本文提出的算法框架可以在不同姿态人脸数据的识别率上有不同程度提升.对于[-90°，-75°]，[-75°，-60°]，[+60°，+75°]，[+75°，+90°]等大姿态情况下人脸识别率提升明显，最高达23%.相对于仅仅依赖跨姿态人脸特征鲁棒性提取方法，三维人脸对二维人脸的识别方法不仅引入三维人脸信息辅助特定姿态特征提取，同时也将多模型特征提取方法集成到人脸识别框架中，为解决大姿态人脸识别问题提供了一个有效的解决方案.

表4 CFRGT数据集人脸姿态角度与人脸正识率统计

3.4.2 UCFRGT数据 针对无约束条件下的人脸识别，其姿态变化相对于实验室环境下采集的人脸姿态样本，其场景变化更为丰富.对于基于姿态鲁棒性特征提取方法来说，特征学习更为困难.表5给出了在该数据库上的识别方法的测试结果.

表5 UCFRGT数据库方法评估结果

实验结果表明，在3D-2D_FPRR算法的前提下，基础三维测试库比基础二维测试库的TOP-1命中率提升9.67%，TOP-5命中率提升3.2%，三维测试库相对于二维测试库的TOP-1命中率提升32.03%，TOP-5命中率提升27.25%.在2D_FPRR算法的前提下，基础三维测试库比基础二维测试库的TOP-1命中率提升3.7%，TOP-5命中率提升2.22%，三维测试库相对于二维测试库的TOP-1命中率提升20.21%，TOP-5命中率提升24.56%.表6同样展示了提出方法的三维靠后率、三维排前率和排序提升率.表7进一步给出了提出的方法在各个yaw姿态角度下的人脸识别正确率结果.基于3D人脸的跨姿态人脸识别方法的性能正确识别率明显提升，识别率最高提升22%.

表6 UCFRGT数据库方法性能比较

表7 UCFRGT数据集上人脸正识率与姿态角度统计

本文提出的基于3D-2D映射的大姿态人脸识别算法框架，利用三维人脸图像信息来辅助完成二维大姿态人脸识别，为大姿态人脸识别难题提供了新的解决方案.首先，我们基于注册的3D人脸图像利用3D-2D映射的姿态数据生成算法达到数据扩充的目标；
然后，针对不同姿态训练对应姿态的人脸特征提取模型得到模型集合并集成到大姿态人脸识别框架.实验结果表明，本文提出的算法框架可以避开直接三维人脸特征提取的复杂工作，同时又充分利用了三维人脸图像的姿态信息.在大姿态场景下，相比仅采用了二维人脸图像的人脸识别算法的人脸正识率提升20%以上，可以很好地解决无约束真实场景下的大姿态人脸识别.