作为一种通用的人脸表示方法，通过使用非刚性迭代最近点算法 [16] 将已知模板网格注册到所有训练扫描中，并使用主成分分析方法跨越先验人脸分布。为了对身份依赖的表情进行建模，3DMM被进一步扩展到多线性模型 [17] 。在此之后，数据改进 [18] 取得了巨大的进步，FLAME [19] 是一种结合颌骨关节和线性表情混合形状来控制面部表情的人脸模型，它从一个包括D3DFACS [20] 的大型3D人脸数据集中学习，并提供了比以往更令人印象深刻的结果，然而它的非线性面部变形不能被很好地捕获。

近年来，隐式神经表示已经成为一种更有效、更合适的三维几何表示，因为它们不能连续建模离散的形状。为了保持细节，进一步利用了由形状元素 [21] 、网格 [22] 或八叉树 [23] 划分的结构化局部特征。此外，为了很好地捕捉形状变化和对应关系，特别学习了一个额外的隐式变形潜在空间 [24] 。然而，现有的技术很难同时实现较高的视觉保真度和多样性，因此它们不适合进行可变形的人脸建模。此外，目前对INRs的研究主要集中在水密输入上，如ShapeNet [25] 中的输入，其中，H3D-Net [26] 学习了一个隐式的头部形状空间用于2D重建；i3DMM [27] 是第一个为人类头部设计的隐式3D可变形模型，然而，它在表示面部区域时严重受到低质量的影响。

在姿态估计中，确定姿态的表示是非常重要的。一些使用深度学习模型的研究将欧拉角 [28] 或单位四元数 [29] 作为位姿估计的表示。然而，由于它们的性质，这些表示法存在模糊性问题。因此，旋转矩阵被用于姿态估计来解决这个问题。Prokudin等人 [30] 探索了旋转矩阵结合奇异值分解进行姿态估计。Lee等人 [31] 采用矩阵Fisher分布来表示姿态估计的不确定性，并根据贝叶斯框架构造了一个姿态估计器。Mohlin等人 [32] 提出了一种近似的矩阵费雪分布方法的归一化常数来估计目标方向。Wang等人 [33] 将矩阵费雪分布与高斯分布相结合，表示姿态存在较大的不确定性。

本文利用隐式神经表示来学习非线性三维变形人脸模型。所提出的方法明确地将面部形状变形分别分解为两个与身份和表情相关的独立变形场，并学习了一个深度SDF来表示模板形状。所有的变形场都与一系列的局部隐式函数混合，以进行更详细的表示。

它的基本思想是训练一个神经网络来拟合一个连续的函数f，该函数通过水平集隐式地表示曲面，并且可以以各种格式进行去定义，例如占用率、SDF或UDF。该方法利用基于表情和身份的潜在嵌入的深度SDF来进行全面的人脸表示。它从一个查询点输出有符号的距离 $s$：

$f:\left(p,z_{\exp },z_{id}\right)\in {ℝ}^3\times {ℝ}^{d_{\exp }}\times {ℝ}^{d_{id}}\to s\in ℝ$(1)

其中， $p\in {ℝ}^3$为三维空间中查询点的坐标， $z_{\exp }$和 $z_{id}$分别表示表情和身份嵌入。

该方法的目标是学习一个神经网络来参数化，使它满足真正的面部形状先验。流程图见 图2 ，所提出的网络由三个形变网块组成，明确地解开了面部形状变形的学习过程，确保了个体间的差异和细粒度变形的准确建模。特别地，前两个形变块分别学习与表情和身份变化相关的单独变形场，而模板形变网块学习模板面形状的有符号距离场。

上面所有变形场都是由共享的形变网块架构实现的，其中整个面部变形或几何进一步分解为许多语义有意义的部分，并由一组局部函数编码，从而可以充分捕获丰富的细节。一个以查询点位置为条件的轻量级模块，即融合网络，被堆叠在形变网块的末端，以自适应地混合局部场。因此，实现了一个复杂的神经混合场。本章工作的三个核心组件和它们的结构都有相应的轻微变化。对它们的简要描述如下：

1) 表情形变网络(ExpNet)

由表情引起的面部变形用ExpNet $E$表示，SoftMax在每次面部扫描中学习一个表情变形：

$E:\left(p,z_{\exp },l\right)\to p^{\prime }\in {ℝ}^3$(2)

其中， $l\in {ℝ}^{k\times 3}$表示由特征点网络 $\eta :\left(z_{\exp },z_{id}\right)\to l$生成的观察面上的 $k$个三维特征点，引入来定位神经混合场中的查询点 $p$。观测空间中的点 $p$被 $E$变形为人特定的规范空间中的一个新的点 $p^{\prime }$，它表示具有中性表情的面。

2) 身份形变网络(IDNet)

为了模拟个体之间的形状变形，IDNet $I$进一步将规范空间变形为一个由所有面共享的模板形状空间：

$I:\left(p^{\prime },z_{id},l^{\prime }\right)\to \left(p^{″},\delta \right)\in {ℝ}^3\times ℝ$(3)

其中， $l^{\prime }\in {ℝ}^{k\times 3}$表示由另一个仅基于身份嵌入的特征点网络 ${\eta }^{\prime }:z_{id}\to l^{\prime }$生成的标准面上的 $k$个特征点， $p^{″}$为模板空间中的变形点。为了处理预处理过程中可能产生的不存在的对应关系，另外预测了一个残差项 $\delta \in ℝ$来校正预测的SDF值 $s_0$。

3) 模板形变网络(TempNet)

TempNet $T$学习共享模板面的一个有符号的距离场：

$T:\left(p^{″},l^{″}\right)\to s_0\in ℝ$(4)

其中， $l^{″}\in {ℝ}^{k\times 3}$为模板面上的 $k$个特征点，在整个训练集上取平均值， $s_0$为未校正的SDF值。一个查询点的最终SDF值是通过 $s=s_0+\delta$计算出来的，模型最终可以表述为：

$f\left(p\right)=T\left(I_{p^{″}}\left(E\left(p,z_{\exp }\right),z_{id}\right)\right)+I_{\delta }\left(E\left(p,z_{\exp }\right),z_{id}\right)$(5)

所提出的方法通过以细粒度和有意义的方式解纠缠变形场来学习面部变形，以确保能够准确地学习更多样和复杂的面部变形。

4) 神经混合场

形变网块是由 $E$、 $I$和 $T$三个子网络共享的公共体系结构。神经混合场学习一个连续场函数 $\psi :\left(x\in {ℝ}^3,f\left(x\right)\in {ℝ}^{512}\right)\to v$，以产生一个用于综合面表示的神经混合场。其中 $f\left(x\right)$表示人脸图像提取得到的相关特征。特别地，为了克服单个网络的有限表达能力，将人脸空间分解为一组具有语义意义的局部区域，并在混合之前单独学习 $v$(例如变形或有符号距离值)。这种设计受到最近隐式神经表示对人体研究的启发，该研究引入了线性混合蒙皮算法 [34] ，使网络可以从身体某个部位的单独变换中学习。为了更好地表示详细人脸表面，将原始线性混合蒙皮算法中的常数变换项替换为 ${\psi }_n\left(x-l_n\right)$，并将神经混合场定义为：

$v=\psi \left(x\right)={\displaystyle {\sum }_{n=1}^k{\omega }_n\left(x\right){\psi }_n\left(x-l_n\right)}$(6)

其中， $l_n$是描述第 $n$个局部区域的参数， ${\omega }_n\left(x\right)$是第 $n$个混合权值， ${\psi }_n\left(x-l_n\right)$是相应的局部域。通过这种方式，在一系列局部域上执行混合，而不是计算一些固定位置的输出值 $v$的加权平均值，从而在处理复杂的局部特征时具有更强的表示能力。

具体来说，利用位于眼角、嘴角和鼻尖的5个特征点来描述局部区域 ${\left(l_n\in {ℝ}^3\right)}_{n=1}^5$，每个区域被分配一个带有正弦激活的微型MLP来生成局部场，记为 ${\psi }_n$。为了捕获高频局部变化，在坐标 $x-l_n$上利用正弦位置编码 $\gamma$。在形变网块的最后，配置了一个基于输入绝对坐标 $x$的轻量级融合网络，该网络由一个3层的MLP结合Softmax实现，用于预测混合权重 ${\left({\omega }_n\in {ℝ}^{+}\right)}_{n=1}^5$。

本文用一个SE(3)场 $\left(R,t\right)\in {ℝ}^6$来表示变形，其中 $R\in {ℝ}^3$是一个表示螺旋轴和旋转角度的旋转向量，变形坐标 $x^{\prime }$可以用 $Rx+t$来计算。该方法利用SE(3)来描述面部形状变形，因为它在处理下颌旋转方面具有优越的能力，并且比普通平移变形 $x^{\prime }=x+t$对姿态扰动具有更好的鲁棒性。在本文中，首先提出了旋转矩阵作为人脸姿态的表示。然后引入基于旋转矩阵的矩阵费雪分布对人脸姿态旋转不确定度进行建模，并讨论了其归一化常数的计算方法。

介绍了以旋转矩阵作为头人脸姿态角度表示的假设。在三维世界坐标中，位于 $\left(u,v,w\right)$处的点首先绕x轴旋转角度 $\alpha$，然后绕y轴旋转角度 $\beta$，最后绕z轴旋转角度 $\chi$。这样的旋转序列可以表达为：

$R_z\left(\chi \right)R_y\left(\beta \right)R_x\left(\alpha \right)\cdot {\left(u,v,w\right)}^{\text{T}}=R\cdot {\left(u,v,w\right)}^{\text{T}}$(7)

其中 $R$为旋转矩阵，可以表示从固定系到惯性坐标系的线性变换。人脸姿态的角度可以用旋转矩阵 $R$表示，如下面公式所示：

$R=\left[\begin{array}{ccc}\cos \beta \cos \chi & \sin \alpha \sin \beta \sin \chi -\cos \alpha \sin \chi & \cos \alpha \sin \beta \cos \chi +\sin \alpha \sin \chi \\ \cos \beta \sin \chi & \sin \alpha \sin \beta \sin \chi +\cos \alpha \sin \chi & \cos \alpha \sin \beta \cos \chi -\sin \alpha \sin \chi \\ -\sin \beta & \sin \alpha \cos \beta & \cos \alpha \cos \beta \end{array}\right]$(8)

其中， $\chi$、 $\beta$和 $\alpha$分别表示偏航角、俯仰角和横滚角。此外，针对现有的人脸姿态估计数据集，标签采用欧拉角表示，所以这些标签应该转化为旋转矩阵。欧拉角可以通过旋转矩阵的元素来确定，这种转化可以用表达式来表示：

$\{\begin{array}{l}\alpha =a\tan 2\left(R_{32},R_{33}\right)\hfill \\ \beta =a\tan 2\left(-R_{31},\sqrt{R_{32}^2+R_{33}^2}\right)\hfill \\ \chi =a\tan 2\left(R_{21},R_{11}\right)\hfill \end{array}$(9)

三维旋转群，通常记为SO(3)，是围绕三维欧几里得空间原点的所有旋转的群。旋转矩阵是李群SO(3)上的三维特殊正交矩阵，满足以下性质：

$SO\left(3\right)=\left\{R\in {ℝ}^{3\times 3}|R^{\text{T}}R=I_{3\times 3},\det \left[R\right]=+1\right\}$(10)

其中， $\det [\cdot ]$是一个方阵的行列式。人脸姿态估计可以设计在三维特殊正交组上，以避免奇异性和模糊性问题。旋转矩阵难以约束，容易失去其正交性，因此，为了在SO(3)上构造确定性人脸姿态，本文在特殊正交群上构造了指数密度模型的一种紧凑形式，即矩阵费雪分布来约束旋转矩阵，并表示人脸姿态旋转不确定性。

矩阵费雪分布可以用来处理旋转的统计量。当应用于三维特殊正交组时，可通过九个参数确定，并对头部姿态不确定性进行建模。对于旋转矩阵 $R$，矩阵费雪分布由下面的概率密度函数定义：

$p\left(R|M\right)=\frac{1}{a\left(M\right)}\exp \left(tr\left[M^{\text{T}}R\right]\right)$(11)

其中， $M\in {ℝ}^{3\times 3}$是一个无约束矩阵， $a\left(M\right)\in ℝ$是分布的归一化常数， $tr[\cdot ]$是该矩阵的迹。该分布可以用 $R~{\rm M}\left(M\right)$表示。

归一化常数 $a\left(M\right)$由下式给出：

$a\left(M\right)={\displaystyle {\int }_{R\in SO(3)}\exp \left(tr\left[M^{\text{T}}R\right]\right)\text{d}R}$(12)

这对于精确和有效的计算是相当重要的。为了求值 $a\left(M\right)$，本文考虑了 $M$的奇异值。假设无约束矩阵 $M$的奇异值分解由下式给出：

$M=US{V}^{\text{T}}$(13)

其中， $S=diag\left(s_1,s_2,s_3\right)$是 $M$的奇异值的对角矩阵且 $s_1\ge s_2\ge s_3\ge 0$。 $U$和 $V$是正交矩阵，满足 $U^{\text{T}}U=V^{\text{T}}V=I_{3\times 3}$。而在SO(3)中它们不是旋转矩阵，因为 $U$和 $V$的行列式可以是−1。为了解决这个问题，采用如下变换：

$\{\begin{array}{l}\hat{U}=Udiag\left(1,1,\det \left[U\right]\right)\hfill \\ \hat{S}=diag\left(s_1,s_2,{s^{\prime }}_3\right)=diag\left(s_1,s_2,\det \left[UV\right]s_3\right)\hfill \\ \hat{V}=Vdiag\left(1,1,\det \left[V\right]\right)\hfill \end{array}$(14)

$\hat{U}$和 $\hat{V}$的定义确保了 $\hat{U},\hat{V}\in SO\left(3\right)$。此外， $a\left(M\right)$的结果由 $\hat{S}$决定。接着， $\Lambda$被定义为：

$\Lambda =diag\left(s_1-s_2-{s^{\prime }}_3,s_2-s_1-{s^{\prime }}_3,s_3-s_1-{s^{\prime }}_2，s_1+s_2+{s^{\prime }}_3\right)$(15)

归一化常数 $a\left(M\right)$可以表示为：

$a\left(M\right)={}_{1}F{}_1\left(1/2,2,\Lambda \right)$(16)

其中， ${}_{1}F{}_1\left(\cdot ,\cdot ,\cdot \right)$是广义超几何函数，要精确计算它是相当重要的。通过计算这个超几何函数，可以得到常数 $a\left(M\right)$及其梯度。

当得到SO(3)上的矩阵费雪分布时，在推断阶段，可以从该分布中提取出合适的旋转矩阵。假设 $R\in SO\left(3\right)$，且 $R\in {\rm M}\left(M\right)$，则最大均值可定义为：

$R_{mean-\max }=\underset{R\in SO(3)}{\arg \max }\left\{p\left(R|M\right)\right\}$(17)

计算之后，最优旋转 $\hat{R}\in SO\left(3\right)$表示为：

$\hat{R}=R_{\text{mean-}\max }=\hat{U}{\hat{V}}^{\text{T}}=U\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& \det [UV]\end{array}\right]V^{\text{T}}$(18)

为了可视化矩阵的费雪分布，提出了一种可视化SO(3)上的概率密度函数的方法。首先计算旋转矩阵的第列向量的边际概率密度函数，并将其在单位球表面上可视化。矩阵费雪分布可视化见 图3 。矩阵 $M$决定了 ${\rm M}\left(M\right)$的形状。 $M$的奇异值越大，边际概率密度的离散度越小。此外当 $M$变化时，红色轴所示的主轴被旋转。

该模型使用多个损失函数进行训练，以学习合理的面部形状表示和稠密的对应关系。

基本的SDF结构损失被应用于学习隐式场：

${ℒ}_{sdf}^i={\lambda }_1{\displaystyle {\sum }_{p\in {\Omega }_i}\left|f\left(p\right)-\bar{s}\right|}+{\lambda }_2{\displaystyle {\sum }_{p\in {\Omega }_i}\left(1-\langle \nabla f\left(p\right),\bar{n}\rangle \right)}$(19)

其中， $\bar{s}$和 $\bar{n}$分别表示地面真实SDF值和场梯度。 ${\Omega }_i$为人脸扫描第 $i$个人的采样空间， $\lambda$表示权衡参数。

为了在整个网络中获得合理的隐式场，使用多个Eikonal损失来强制执行空间梯度的 $L-2$范数为单位1：

${ℒ}_{eik}^i={\lambda }_3{\displaystyle {\sum }_{p\in {\Omega }_i}\left(\left|\Vert \nabla f\left(p\right)\Vert -1\right|+\left|\Vert \nabla T\left(I\left(p^{\prime }\right)\right)\Vert -1\right|\right)}$(20)

其中， ${ℒ}_{eik}^i$使网络在观测空间和正则空间中同时满足Eikonal损失。

它以零均值高斯先验对嵌入进行正则化：

${ℒ}_{emb}^i={\lambda }_4\left({\Vert z_{\exp }\Vert }^2+{\Vert z_{id}\Vert }^2\right)$(21)

损失用于学习特征点网络：

${ℒ}_{lm}^i={\lambda }_5{\displaystyle {\sum }_{n=1}^k\left(\left|l_n-\overline{l_n^i}\right|+\left|{l^{\prime }}_n-\overline{{l^{\prime }}_n}\right|\right)}$(22)

其中， $\overline{l^i}$表示样本 $i$上的第 $k$个标记的特征点， $\overline{l^{\prime }}$表示对应的中性面上的特征点。

本文利用这一损失来引导变形的特征点位于地面真实中性面和模板面上的相应位置，以获得更好的对应性能：

${ℒ}_{lmc}^i={\lambda }_6{\displaystyle {\sum }_{n=1}^k\left(\left|E\left(l_n\right)-\overline{l_n{}^{\prime }}\right|+\left|I\left(E\left(l_n\right)-l_n{}^{\prime \prime }\right)\right|\right)}$(23)

给定一个样本 $\left(x,R_x\right)$， $x$是输入图像，旋转矩阵 $R_x\in SO\left(3\right)$是地面真实值。矩阵费雪分布模块的细节见 图4 。通过将样本依次输入卷积神经网络和全连通层，得到 $M_x$，然后生成矩阵费雪分布 ${\rm M}\left(M_x\right)$。利用分布的负对数似然函数可以计算 $M_x$和 $R_x$之间的矩阵费雪分布损失(MFD损失)。MFD损失可以表示为：

${ℒ}_{MFD}^i=-\log \left(p\left(R_x|M_x\right)\right)=\log \left(a\left(M_x\right)\right)-tr\left[M_x^{\text{T}}{R}_X\right]$(24)

该损失是一个连续的凸函数，具有连续的梯度，适合于优化。

对所有以 $i$为索引的人脸样本计算总的训练损失，最终表示为：

$ℒ={\displaystyle {\sum }_i\left({ℒ}_{sdf}^i+{ℒ}_{eik}^i+{ℒ}_{emb}^i+{ℒ}_{lm}^i+{ℒ}_{lmc}^i+{ℒ}_{MFD}^i\right)}$(25)

FaceScape [10] 是一个大规模的高质量的3D人脸数据集，由938个个体组成，有20种表情类型。来自365个人的数据是公开的，本文主要用它们进行实验。具体来说，从355人的15个表情的5323次面部扫描作为训练集，从其余10人的20个表情的200次面部扫描作为测试集。

所有形变模块 ${\psi }_n$被实现为具有3个隐藏层和32维正弦激活隐藏特征的MLPs。超参网络 ${\varphi }_n$是由ReLU激活的3层MLPs，其中隐藏层维度为64。特征点网络 $\eta$和 ${\eta }^{\prime }$具有三个128维全连接层。

表情形变网络 $E$的详细结构图见 图5 ，其中 $N_s$表示人脸扫描总次数， $N_{id}$表示对象身份数量，PE表示位置编码。所有的网络都由MLP完全实现。为了获得更好的高频信息，本文通过正弦位置编码 $\gamma$对 $k$个特征点的相对坐标进行编码，写成：

$\gamma \left(p\right)=\left(\sin \left(2^0\pi p\right),\cos \left(2^0\pi p\right),\cdot \cdot \cdot ,\sin \left(2^{L-1}\pi p\right),\cos \left(2^{L-1}\pi p\right)\right)$(26)

在本文的实验中， $L=6$， $k=5$。此外，每个 ${\psi }_n$都利用正弦激活，参数初始化。在训练过程中， $k$个 ${\psi }_n$的参数由 $k$个对应的超参网络 ${\varphi }_n$生成，以获得更具有表达性的潜在空间，这是最近隐式神经表示研究中常见的技术操作。训练网络的权衡参数 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_7$分别设置为3e3、1e2、5e1、1e6、1e2、1e2和1e2。

网络中的SE(3)形变模块的输入Deformations即本文所描述的矩阵费雪分布模块所估计得到的人脸姿态，它的网络结构见 图4 。

身份形变网络结构和表情形变网络结构相似，变形到模板空间中得到 $p^{″}$，模板形变网络结构见 图6 ，最后经过神经混合场得到SDF $s_0$。

该模型由Adam以端到端的方式进行训练。以初始学习率为0.0001训练模型1500个epochs，在200个epochs之后，每10个epochs将其衰减0.95倍。在1块NVIDIA RTX 3090 GPU上进行训练，训练时间约为2天，微批大小为72。在测试过程中，在单个GPU上优化200个样本大约需要4个小时。

本文使用提出的模型来拟合人脸扫描，并将重建结果与FLAME [19] ，i3DMM [27] 和ImFace [35] 的几何模型进行了比较，表明了该方法的先进性。FLAME代码用于拟合测试集中的全面扫描，有300个身份参数和100个表情参数。对于ImFace，使用FaceScape发布的由938个个体建立的双线性模型进行测试，其中身份和表情参数分别为300和52。测试扫描已经包含在FaceScape的训练集中。对于i3DMM，由于原始模型只在58个个体上进行训练，因此在与本文相同的训练集上重新训练模型，以进行公平的比较。在i3DMM和本文方法中，身份和表情嵌入都是128维的。

可视化了不同模型所获得的重建结果见 图7 ，其中每一列对应一个具有非中性表情的测试人。研究结果还包括在学习过程中看不见的表情。i3DMM是第一个针对人类头部的深度隐式模型，但在相对复杂的情况下，它无法捕捉复杂的变形和细粒度的细节，从而导致重建的面孔上的伪影。FLAME能够很好地呈现身份特征，但在处理非线性变形时，会产生僵硬的面部表情。ImFace的表现更好，主要是由于高质量的训练扫描和测试面包含在训练集中，但它仍然不能精确地呈现表情形态。相比之下，本文方法重建了具有更准确的身份和表情特性的面孔，它能够通过更少的潜在参数来保持微妙和丰富的非线性面部肌肉变形，如皱眉和撅嘴。

具体地，采用对称倒角距离和F-分数作为度量指标，并将F值的阈值设置为0.001作为严格标准，对称倒角距离越小效果越好，相反F-分数越高效果越好。结果见 表1 ，可以看到，本文方法在两种度量指标下都超过了同类方法，这显然验证了它的有效性。

本文方法建立在以下核心组件之上：人脸几何变形场，神经混合场。通过实验验证了这些设计的有效性。为了突出人脸几何变形场学习过程，建立了一个只包含其中一个变形场的基线网络，以普遍学习面部形状变形。因此， $z_{\exp }$和 $z_{id}$被连接为超参网络的输入。结果见 表2 ，定量结果表明了人脸几何变形场学习的意义。本文将 $E$、 $I$、 $T$中的神经混合场替换为等量参数的MLP，直接预测整个面部的全局变形或SDF值。 表2 中的定量结果证实了神经混合场在学习复杂表示方面的必要性。