1999年Blanz等人 [ 6 ] 开创性地提出了三维形变模型，将三维人脸表示为一组形状和纹理基向量的线性加权组合。这组基向量通过扫描200个人脸的三维数据后进行主成分分析得到。Cao等人 [ 7 ] 提出的Facewarehouse模型增加了表情基向量，使人脸模型能够表现出同一个人不同表情的差异。Li等人 [ 8 ] 进一步提出FLAME模型，以形状、姿态和表情作为基向量，能够更加准确地建模头部姿态和面部表情。

早期的方法 [ 14 ] [ 15 ] [ 16 ] 通常首先初始化三维人脸形状和纹理的基系数，以不断迭代拟合的方式获得3DMM参数，具有较高的时间复杂度，且对初始化要求较高，容易陷入局部最优解。随着深度学习技术的发展，一些方法 [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ] 开始使用卷积神经网络对二维图片进行特征提取，回归出表现较好的3DMM参数。Ayush等人 [ 19 ] 采用基于CNN的编码器从单幅图片中提取姿态、形状、表情等参数，将3DMM模型作为解码器构建三维人脸模型。网络以无监督的方式进行端到端训练，重建出了质量较高的三维人脸。Fan等人 [ 20 ] 提出一个双神经网络，回归出更具有鲁棒性和个性化的3DMM参数，进一步提升了三维人脸的重建效果。Zhu等人 [ 21 ] 通过CNN不仅回归出3DMM参数，还得到了人脸局部不同尺度的特征，然后将这些特征和三维人脸模型进行可微渲染得到的二维图像，与输入人脸图像进行误差计算。这种方法能够使投影的脸型更好地与输入人脸图像上每个面部区域的轮廓对齐。

由于3DMM模型本质是线性正交基的低维表达，重建的三维人脸仅仅是粗糙的形状和纹理，面部的皱纹等细节很难重建出来，并且不同个体间的差异也很难表现出来。很多研究者都提出了方法来克服这一局限性。Luan等人 [ 22 ] 提出了一个非线性的3DMM模型，该模型分别使用两个深度神经网络代替线性3DMM模型，将形状和纹理参数解码为三维人脸形状和纹理，并设计了可微渲染层来进行端到端的弱监督训练。这种方法与线性3DMM相比，明显改善了三维人脸形状和纹理的表示能力。Lee等人 [ 23 ] 采用GCN和GAN来分别重建三维人脸的几何网格和面部纹理。为了重建出人脸的几何细节，Matan等人 [ 24 ] 提出了一个图像到图像网络，从输入的二维图像中生成基于像素的人脸几何表示。一些方法通过生成位移图来表示人脸的面部的几何细节。Yang等人 [ 11 ] 通过pix2pixHD网络 [ 25 ] 预测出不同表情的位移图，并通过权重相加来获得面部的动态细节。

粗糙三维人脸重建阶段的目标是对图像中的人脸的低频几何和纹理进行学习和重建。具体来说，给定一幅二维图像I作为输入，编码器回归出一个468维的参数空间。该尺寸空间包括面部身份参数 β ∈ R 200 、姿态参数 θ ∈ R 6 、表情参数 ε ∈ R 50 、相机角度特征参数 c ∈ R 3 、反射率参数 α ∈ R 200 和照明参数 γ ∈ R 9 。

图1. 由粗到精的三维人脸重建框架

为了能够使编码器提取到图像中人脸区域的关键特征以及与人脸身份相关的个性化特征，本文提出了一个多尺度个性化特征提取模块，从编码特征中有效提取人脸的年龄、性别等个性化信息。图2显示了多尺度个性化特征提取模块的结构，该模块分为两个部分。在第一部分中，模块将编码器提取的特征分别通过四种不同尺度的卷积层进行处理。其中1 × 1卷积主要负责保留人脸的全局特征，而其余三个尺度的卷积则专注于捕获人脸的局部特征。通过对这些不同尺度的特征进行采样和连接，本文能够获得一个既包含局部细节又兼顾全局信息的密集特征表示。在模块的第二部分中，本文引入一种注意力机制，旨在专注于提取有效信息并有效抑制背景特征的干扰。该注意力机制分为通道注意力和空间注意力两个并行分支。通道注意力分支用于获取不同通道间的特征关系，通过全局平均池化层对每个通道的全局信息进行编码，并利用带有隐藏层的多层感知机来精准估计各通道间的注意力权重。空间注意力用于强调或抑制在不同空间位置的特征，通过两个1 × 1卷积来整合和压缩通道维度，再结合两个3 × 3空洞卷积来有效聚合具备更大感受野的上下文信息。随后，这两个分支的输出特征经过广播机制进行维度扩展生成注意力映射。最后，本文将生成的注意力映射与原始输入特征进行逐元素相乘，以获得更为精准的人脸个性化特征。通过这种方式，注意力机制能够利用提取的特征自适应地学习权重分布，并将这些学习到的权重与人脸细节轮廓紧密结合，进而强化编码器对关键特征的感知与提取能力。

图2. 多尺度个性化特征提取模块结构

本文参考了FLAME模型 [ 8 ] 构建三维人脸的方式，根据面部身份参数β、表情参数ε和姿态参数θ构建表示粗糙人脸几何形状S_coarse与反射率UV图A：

S c o a r s e = ( β , θ , ε ) = S ¯ + β B i d + ε B e x p + θ B p o s (1)

A ( α ) = A ¯ + α B a l b (2)

其中 S ¯ ∈ R 3 n 表示平均人脸基底，B_id、B_pos、B_exp和B_alb分别表示人脸模型的身份、姿态、表情和反射率基底。本文假设人脸为朗伯斯表面，用球面谐波函数来模拟场景光照。假定人脸表面一顶点p_i，其表面法线和皮肤纹理分别表示为n_i和t_i，该点的光照可以由如下公式计算：

C ( n i , t i | γ ) = t i ⋅ ∑ b = 1 B 2 γ b Φ b ( n i ) (3)

其中Φ_b表示球面谐波基函数，γ_b表示对应的球面谐波参数。参考 [ 26 ] ，B设置为3。可微渲染器通过粗糙三维人脸形状、相机参数、光照参数和反射率UV图生成二维图像I_r,coarse：

I r , c o a r s e = R ( S c o a r s e , A , γ ) (4)

在粗糙人脸重建阶段，三维形变模型的顶点数量有限，无法充分重建出脸部表面的细节信息，如皱纹等。为解决这一问题，本文采用UV空间的位移深度图来精细面部人脸的细节几何。位移深度图能够表达沿法线方向的几何变形，打破了基础模型顶点密度的限制。通过将位移深度图逐像素转换为绘制过程中的细节法线，人脸网格能够显示所有细微的细节变化。基于此，本文提出了一个人脸几何细节生成网络。该网络将人脸纹理UV图作为输入，通过生成器挖掘纹理图中难以捕捉的细节信息，并将这些细节作为特征图，循环合成位移深度图 D ∈ [ − 0.01 , 0.01 ] 256 × 256 。最后，网络将位移深度图在UV域对人脸网格顶点进行叠加，生成具有精细化特征的人脸网格模型。

粗糙三维人脸重建阶段的损失函数是在输入图像I和渲染图像 I r . c o a r s e 之间计算差异的，可以表示为：

L c o a r s e = w i d L i d + w e x p L e x p + w l m k L l m k + w p h o L p h o + w r e g L r e g (8)

包括身份一致性损失L_id、表情一致性损失L_exp、关键点损失L_lmk、光度损失L_pho和正则化损失L_reg。

身份一致性损失。为了保证输入图像和渲染后的图像要确保看起来是同一个人，本文将I和 I r . c o a r s e 分别通过一个预训练的人脸识别网络 [ 30 ] 来提取特征，然后计算两个特征间的余弦相似性来最小化身份损失：

L i d = 1 − F i d ( I ) F i d ( I r , c o a r s e ) ‖ F i d ( I ) ‖ 2 ⋅ ‖ F i d ( I r , c o a r s e ) ‖ 2 (9)

其中， F i d ( ⋅ ) 表示输出的人脸身份特征。

表情一致性损失。为了保证输入图像和渲染后的图像的表情相同，本文将I和 I r . c o a r s e 分别通过一个预训练的表情识别网络 [ 31 ] 来提取特征，然后计算两个特征间的余弦相似性来最小化表情损失：

L e x p = ‖ F e x p ( I ) − F e x p ( I r , c o a r s e ) ‖ 2 (10)

其中， F e x p ( ⋅ ) 表示输出的身份特征。

关键点损失。本文采用一个关键点检测网络 [ 32 ] 分别提取I和 I r . c o a r s e 上的68个人脸关键点k_i和 k ′ i ，然后计算两者的l₁损失：

L l m k = ∑ i = 1 68 ‖ k i − k ′ i ‖ 1 (11)

光度损失。光度损失计算I和 I r . c o a r s e 面部区域间的像素值差异：

L p h o = V I ⊙ ( I − I r , c o a r s e ) 1 (12)

其中， ⊙ 表示对矩阵的逐元素乘法操作，V_I表示用 [ 33 ] 生成的面部掩码，在面部皮肤区域值为1，其他区域值为0。仅计算面部区域的误差可以增强网络对头发、衣服等常见遮挡的鲁棒性。

正则化损失。为了防止面部形状和纹理退化，本文对回归的三维形变模型系数采用正则化损失：

L s e g = ‖ β ‖ 2 2 + ‖ ε ‖ 2 2 + ‖ α ‖ 2 2 (13)

精细化三维人脸重建阶段的损失函数是在输入图像I和渲染图像 I r , d e t a i l 之间计算差异的，可以表示为：

L d e t a i l = ω p h o D L p h o D + ω s m o L s m o + ω r e g D L r e g D (14)

包括细节光度损失L_phoD、法线平滑损失L_smo和细节正则化损失L_regD。

细节光度损失。细节光度损失计算I和 I r , d e t a i l 面部区域间的像素值差异：

L p h o D = V I ⊙ ( I − I r , d e t a i l ) 1 (15)

法线平滑度损失。本文在UV空间对原始的表面法向量 N ′ c o a r s e 和叠加了深度位移图后的表面法向量 N ′ d e t a i l 之间计算平滑损失，确保生成的几何细节在相邻像素上的相似性。该损失函数的作用是利用叠加深度位移图前后表面法向量的邻域深度值来约束非边缘区域的法线贴图平滑，增强边缘区域的信息的同时，抑制非边缘区域的信息。损失函数可以表示为：

L s m o = ∑ i ∈ P U V ∑ j ∈ N ( i ) ‖ Δ n ( i ) − Δ n ( j ) ‖ 2 (16)

其中i表示UV空间P_UV中的每一个像素， N ( i ) 表示其临近的像素集和， Δ n ( i ) 表示 N c o a r s e 和 N ′ d e t a i l 之间的像素距离。

细节正则化损失。本文对生成的位移深度图D进行正则化计算，以减少生成位移深度图和反射率图的噪声带来的面部失真：

L r e g D = ‖ D ‖ 2 2 (17)

CelebA数据集 [ 34 ] 是一个包含202,599张二维人脸图像的综合性数据集，涵盖了10,177个不同的对象。数据集中每张人脸图像包含5个人脸关键点及40个边缘点的标注。该数据集涵盖了多种姿态、环境光照、遮挡和表情等变化因素。在本文中，该数据集以8:1:1的比例分为训练集、验证集和测试集。

AFLW2000-3D [ 35 ] 是一个在无约束场景下采集的人脸数据集，包含2000幅图像和以及与之对应的三维注释信息。这些注释信息包含了每幅图像的33DMM参数，以及68个人脸关键点坐标。该数据集中含有多种姿态和光照条件下的人脸图像，在本文中作为三维人脸重建的测试数据集。

标准化平均误差(Normalized Mean Error, NME)表示人脸关键点坐标预测值和真实值之间的欧式距离平均值，初以标准因子得到的结果。其公式为：

其中，P和P^*分别表示人脸关键点坐标预测值和真实值，p_i和 p i * 分别为重建人脸和真实人脸第i个关键点坐标，d表示标准化因子，通常为两外眼角或两眼瞳孔的距离，N表示关键点个数。

本文将输入图像以人脸区域为中心裁剪或缩放为224 × 224的大小，特征编码器由ResNet-50 [ 36 ] 构成。本文利用Pytorch3D可微分光栅器 [ 37 ] 进行三维人脸的渲染。在粗糙三维人脸重建阶段，损失函数参数 { w i d , w e x p , w l m k , w p h o , w r e g } 设置为{1,1,0.5,2,1.7e-3}。训练的初始学习率为1e-4，训练周期为50。在人脸细节重建阶段，损失函数 { w p h o , w s m o , w r e g D } 设置为{2,10,0.5}。训练的初始学习率为5e-5，训练周期为30。每个阶段的训练都使用Adam [ 38 ] 作为优化迭代器。

本文在AFLW2000-3D数据集上采用NME指标与现有方法进行对比，评价重建的三维人脸几何的与原始输入图像的对齐精度。为了进一步研究重建的人脸几何在不同姿态下的对齐准确性，本文将数据集按照偏航角分为三部分，分别表示人脸偏转角度在[0,30)、[30,60)和[60,90)区间的人脸。

表1显示了本文的方法相比于其他方法，在[0,30)区间的NME最低，在[30,60)和[60,90)区间的NME也低于大部分现有方法。MGCNet [ 44 ] 和SADRNet [ 43 ] 在[30,60)区间的NME比本文的方法分别低0.35和0.02；在[60,90)区间的NME比本文的方法分别低0.28和0.07。这是因为MGCNet以多视角人脸图像作为输入的特点，对于人脸大姿态角度图像的三维人脸重建更具有鲁棒性。SADRNet则依赖于带有三维注释标签的数据集进行训练，而本文的方法采用无三维注释标签的数据集进行自监督训练。AFLW2000-3D数据集在三个角度区间的分布不均匀，本文在整体均值NEM上达到了最低水平。综合分析结果可见，尽管本文的方法在大姿态角度下的重建精度尚待提升，但在小姿态角度下的重建精度却优于其他现有方法。这一结果证明了本文提出的个性化特征提取模块能有效学习到人脸面部更丰富的身份特征。

表1. 本文方法在AFLW200-3D数据集上与其他方法的定量对比

图5. 本文方法在AFLW200-3D数据集上与其他方法的定性对比

图5显示了本文提出的三维人脸几何重建方法与其他现有方法的定性对比结果。图中(a)列表示AFLW2000-3D数据集中的原始输入人脸图像，(b)列至(f)列则分别对应3DDFA [ 35 ] 、FaceScape [ 11 ] 、Extreme3D [ 45 ] 、DECA [ 10 ] 以及本文所提出方法的三维人脸几何重建结果。其中，3DDFA方法通过人脸标准化投影坐标编码的方式提升了人脸关键点坐标的预测精度。然而，由于仅依赖于3DMM参数进行重建，该方法的重建结果受限于低维空间，无法准确还原如面部皱纹等关键细节。FaceScape和DECA方法虽然在重建皱纹等高频细节方面有所突破，但是无法有效恢复出人脸的身份和表情信息。相较于本文方法，Extreme3D能够重建出更为丰富的细节，但其鲁棒性较差，在脸部存在小部分遮挡(如眼镜、头发等)的情况下易产生伪影，这一点在图示的第二行、第四行和第六行中尤为明显。

相较于其他方法，本文所提出的三维人脸几何重建技术能够生成高保真的三维人脸模型，且细节丰富。从脸部外形的重建效果来看，本文的方法能够更精确地还原面部几何形态和轮廓线条。以图中第三行为例，通过本文方法重建的下巴形状和脸部轮廓与原始输入图像更加吻合。此外，在面部细节的呈现上，本文提出的方法能够准确捕捉与表情变化相关的细微特征。以图中第一行、第二行和第四行为例，通过本文方法重建的模型能够精细地还原由表情引起的嘴部形变以及嘴部和眼部周围的皱纹。总体而言，本文所提出的方法在人脸面部几何的恢复上具有显著优势，重建出的人脸模型在身份和表情的表达上与原始输入图像保持更高的一致性。

为了验证本文提出的各个模块的合理性和有效性，本文在AFLW2000-3D数据集上进行了消融实验。图6是消融实验的结果分析，其中(a)列表示输入人脸图像，(b)列至(e)列分别表示基础3DMM、采用多尺度个性化特征提取模块、采用人脸几何细节重建模块和采用条件编码重建的三维人脸几何的renlia你重建情况。

图6. 消融实验的可视化结果

(1) 多尺度个性化特征提取模块的有效性

此模块旨在有效提取有助于三维人脸重建的个性化特征。表2中的数据显示，在未引入多尺度个性化特征提取模块的情况下，NME提升了1.28。进一步地，从可视化结果来看，图6显示出在缺少此模块的情况下，本文的方法难以精确重建出与原始人脸一致的表情和面部轮廓，特别是在嘴部和面部形状等细节上表现尤为明显。

表2. 消融实验的定量结果

(2) 人脸几何细节重建模块的有效性

此模块主要负责重建人脸表面的皱纹等几何细节。为了验证该模块中身份和表情的联合条件变量对于人脸细节重建的有效性，本文同样进行了消融实验。表2的结果显示，在不采用人脸几何细节重建模块的情况下，NME提升了1.07；在采用此模块但不引入条件变量的情况下，NME提升了0.39。此外，从图6中的可视化结果来看，若缺少人脸几何重建模块，本文方法无法有效重建出人脸面部的皱纹等高频细节；而在未采用条件变量的情况下，与表情相关的皱纹细节(如嘴角和眼部周围的皱纹)无法得到清晰的重建。