近年来国内外学者在面部动画合成方面做了很多的研究。Pham等 [15] 的长短时记忆模型(Long Short- Term Memory, LSTM)可以解决传统神经网络无法对大跨度的上下文联系进行建模的问题。Guanzhong Tian等 [16] 的端到端的深度学习方法，用于仅从音频生成实时面部动画。倪虎 [17] 等将经过长短期记忆–递归神经网络(LSTM-RNN)模型训练后的输出结果，输入到人脸表情动画合成系统来实现语音驱动唇形动画的生成。FAN等 [18] 将深度神经网络应用于文本驱动面部动画中。阳珊等 [19] 在前期研究的基础上，采用语音输入的方式尝试将BLSTM-RNN应用于语音驱动的面部动画任务中。Karras等人 [7] 提出了一种端到端卷积神经网络，该网络学习从输入波形到人脸模型的3D顶点坐标的映射；通过在网络中引入一个额外的情感成分来解决音频和人脸之间映射的模糊性。Cudeiro等人 [8] 提出了音频驱动的面部动画方法，利用时间卷积和控制参数，从语音信号和静态角色网格中生成逼真的角色动画。Richard等人 [9] 使用分类潜在空间来解决缺乏上脸运动的问题，该分类潜在空间基于跨模态损失来解开音频相关和音频不相关信息。这些方法只专注于训练从语音到面部的映射，而忽略了嘴唇运动的可懂度，这会限制嘴唇运动的准确性，并导致相同发音的歧义。Xing等人 [20] 通过训练矢量量化自动编码器(VQ-VAE) [21] 来自重构真实的面部运动，引入离散运动先验，减少了过度平滑面部运动的问题。Haque等人 [22] 在训练过程中有效地采用了自监督预训练的HuBERT模型，它能够在不使用大量词汇的情况下，将音频中的词汇和非词汇信息结合起来，而且它消除了Transformer等复杂顺序模型的使用，速度提高了4倍。

扩散的概念最早由Sohl-Dickstein等人 [23] 提出，在生成任务中扩散模型已经成为主流研究，其中包括图像，音视频，手势及人体运动等的生成 [24] - [28] 。其思想是数据分布中的样本通过扩散过程对带有高斯噪声的图像逐渐去噪，然后通过训练神经模型学习逐渐去噪样本的相反过程来逆转扩散过程 [29] - [31] 。最开始扩散主要应用于3D身体运动生成和2D谈话面部生成。如Tevet等 [32] 提出了基于文本描述生成人体动画的人体运动扩散模型(Human Motion Diffusion Model, MDM)，通过采用基于Transformer的架构，并引入带噪声的真值运动作为网络的额外输入，成功地在推理时生成了多样性的动画。Bigioi等人 [33] 提出了一种利用扩散来生成说话头动画的语音驱动的视频编辑方法。Face Diffuser [24] 使用预训练的语音表示模型将音频信号转换为潜在特征向量序列，构成了基于循环GRU层的扩散模型。Thambiraja B [12] 等人使用基于卷积的架构，可以实现在一个小的高质量数据集上进行模型训练，并获得更高的合成质量和多样性。Diff Pose Talk [28] 使用了基于Transformer的架构的语音到运动的扩散模型，并提出了一种风格编码器来实现短参考序列的合成，但其个性化功能被限制在预训练头部模型的系数空间内。Diffusion Talker [34] 提出一种基于扩散的方法，利用对比学习来个性化3D面部动画和知识蒸馏来加速3D动画的生成。Motion Diffuse [35] 是第一个基于扩散模型的文本驱动运动生成框架。

本文的Self-Diffuser模型使用自监督约束来捕捉语音和嘴唇形状之间的复杂关系，同时引入扩散机制，提高模型多样性的同时生成更逼真、更准确的面部表情。

本文的Self-Diffuser模型利用先进的自监督预训练语音模型wav2vec 2.0 [36] 进行音频特征提取。wav2vec 2.0在大量音频数据上训练，并在预训练模型的微调阶段，冻结TCN层 [37] ，而其他层有助于模型训练，并不断变化以提取模型所需的特征来保证所提取的音频特征包含所说单词的大量信息 [14] 。公式定义如下：

$y_{e,t}\text{=SFA Encoder}\left(c_t,{\delta }_e\right)$(1)

其中， $y_{e,t}$表示音频编码器提取的音频特征，其中， ${\delta }_e$为该音频编码器的参数。

$x_0^{1:m}$是来自具有形状(m, v)的数据集的真实值视觉帧的序列，v为顶点数乘以3。在训练过程中，随机从[1, T]中抽取一个时间步长t，表示在 $x_0^{1:m}$上应用的噪声步长数来获取 $x_t^{1:m}$，公式如下 [24] ：

$x_t^{1:m}=w\left(x_t^{1:m}|x_{t-1}^{1:m}\right)=\mathcal{N}\left(\sqrt{1-{\gamma }_t}{x}_{t-1}^{1:m},\left({\gamma }_t\right)I\right)$(2)

其中，m为序列中的帧数，t为扩散时间步长， ${\gamma }_t$为在时间步长t处的恒定噪声，并使得 $0<{\gamma }_1<{\gamma }_2<\cdots <{\gamma }_T<1$。

本文的Self-Diffuser模型遵循MDM [32] ，MDM是一种基于Transformer的基于无分类扩散的生成模型，其被设计为在每个扩散步骤中学习预测实际动画数据，而不是对噪声水平的预测 [24] 。本文的Self-Diffuser模型的扩散机制的设计使得预测结果取决于输入的音频，更适用于本文的面部动画生成任务。

本文的Self-Diffuser模型引入的扩散推理是一个从T递减到1的迭代过程，见 图2 。初始噪声由正态分布N (0, 1)中的实际噪声进行表示。在推理时间T内的每一步中，本文为网络架构提供音频和带有噪声的动画输入，其中噪声为随机采样。然后将预测得到的面部运动再次扩散并馈送到下一步的迭代过程中。从T到1进行所有扩散时间步长，并逐步改进每个推理步骤的预测 [24] 。

本文的Self-Diffuser模型使用基于Transformer [38] 的结构来设计解码器，其任务是利用编码的音频、说话人的身份向量化和噪声的潜在表示中产生最终的动画帧。Transformer解码器由多层掩蔽的自注意机制和前馈神经网络组成。掩蔽的自注意机制使解码器能够专注于输入序列的相关部分以产生合适的输出。然后将前馈神经网络应用于结果上下文向量以生成最终输出 [14] 。最后，网格解码器以音频特征、说话人的身份嵌入向量化和噪声的潜在表示为输入，输出三维网格变形，可以表示为：

$\hat{z}=\text{SFM Decoder}\left(ca{t}_{e,t},{\delta }_d\right)$(3)

其中， $ca{t}_{e,t}$表示音频编码器提取的音频特征、说话人的身份向量化和噪声的潜在表示的拼接嵌入， ${\delta }_d$为解码器参数， $\hat{z}$表示生成的三维网格变形。

本文的Self-Diffuser模型利用简单损失函数，通过实验表明利用简单损失函数来学习变分界也更容易实现且取得的效果也更好 [24] ，损失被定义为：

$ℒ=E_{x_0~q\left(x_0|c\right),t~\left[1,T\right]}\left[\Vert x_0-{\hat{x}}_0\Vert \right]$(4)

本文在一个公开可用的3D数据集BIWI [39] 进行了训练和测试。BIWI是一个3D视听语料库，由14名受试者(6名男性和8名女性)说出40句话，以25 fps的速率捕捉动态3D面部，注册的拓扑结构有23,370个顶点，平均序列长度约为4.67秒。本文对BIWI采用与参考文献 [8] [9] [13] [14] [20] [24] 中所做的完全相同的数据集分割，并且只使用情感序列子集，数据集划分结果如 表1 所示。结果划分包含：192个句子的训练集；包含来自6个训练对象的24个句子的验证集。有两个测试集：BIWI-Test-A (测试集A)，包含来自6个可见受试者的24个句子；BIWI-Test-B (测试集B)，包含来自其余8个不可见受试者的32个句子。BIWI-Test-A测试集用于计算客观指标，BIWI-Test-B进一步用于计算多样性度量。

本文的Self-Diffuser模型被设计为接收音频作为输入，在预处理阶段，将音频采样率转换为16 kHz。BIWI [39] 的处理速度为25 fps。对于训练阶段的模型优化，本文使用Adam优化器 [40] ，并将学习率和批大小分别设置为1e⁻⁴和1。整个网络在NVIDIA RTX 4090上进行训练(100个epoch)来完成训练过程。本文提出的模型的超参数设置如 表2 所示。

LVE (Lip Vertex Error，嘴唇顶点误差)：嘴唇顶点误差是唯一公开提出的用于语音驱动面部动画评估的度量，它测量一个序列相对于真实的唇偏差，即计算每帧所有唇顶点的最大L2误差，并取所有帧的平均值。其计算公式为：

$\text{LVE}=\frac{{\displaystyle \underset{i=0}{\overset{m*n*q}{\sum }}{s}_i}}{m*n*q}$(5)

$s_i=\sqrt{{\left({\hat{x}}_i-x_i\right)}^2+{\left({\hat{y}}_i-y_i\right)}^2+{\left({\hat{z}}_i-z_i\right)}^2}$(6)

其中，n：每一帧的顶点数；m：每一序列的帧数；q：序列的数； $\left(x_i,y_i,z_i\right)$为真实值顶点坐标， $\left({\hat{x}}_i,{\hat{y}}_i,{\hat{z}}_i\right)$为预测值顶点坐标。

FDD (Upper-Face Dynamics Deviation，上面部动态偏差)：它测量了运动序列相对于真实值的面部动力学变化。上脸表情取决于个人的谈话风格和讲话内容的语义，其与讲话风格等只是松散相关 [20] 。其中，上面部动态偏差(FDD)计算公式为：

$\text{FDD}\left(M_{1:T},{\hat{M}}_{1:T}\right)=\frac{{\displaystyle \underset{v\in S_U}{\sum }\left(\text{dyn}\left(M_{1:T}^v\right)-\text{dyn}\left({\hat{M}}_{1:T}^v\right)\right)}}{\left|S_U\right|}$(7)

其中， $M_{1:T}^v\in R^{3\times T}$表示第v个顶点的运动， $S_U$是上面顶点的索引集，dyn (∙)表示元素L2范数沿时间轴的标准差 [20] 。

Diversity (多样性度量)：本文模型架构引入了扩散机制，可以为与语音不相关或松散相关的面部区域生成大范围的运动和多样性表情。因此额外引入了文献 [24] 中用于扩散模型的面部多样性度量来测试模型的多样性能力。

多样性指标定义如下：设 ${\hat{x}}_0^s$为生成的序列，以受试者 $s\in S$为条件，其中S为训练主题列表。本文计算了每两个序列在不同主题条件下的平均顶点差，然后取这些差的均值，定义序列的多样性如下：

$\text{Diversity}=\frac{{\displaystyle \underset{i=1}{\overset{\left|S\right|-1}{\sum }}{\displaystyle \underset{j=i+1}{\overset{\left|S\right|}{\sum }}\Vert {\hat{x}}_0^i-{\hat{x}}_o^j\Vert }}}{\frac{\left(\left|S\right|-1\right)\cdot \left|S\right|}{2}}$(8)

其中，S为训练对象列表，而且 ${\hat{x}}_0^i$为以S的第i个主题为条件的预测动画序列。

本文在BIWI [39] 数据集上进行了实验，将本文构建的Self-Diffuser模型与最先进的方法 [8] [9] [13] [14] [20] [24] 在测试集BIWI-Test-A下，通过计算客观指标LVE、FDD进行了比较。其结果如 表3 所示。

表3 结果表明，在BIWI数据集上，本文模型较其他模型产生了更低的嘴唇顶点误差，表明它产生了更加精确的唇同步运动。同时，本文模型在上面部动态偏差方面也实现了最佳性能，即预测的上脸表情与面部动态趋势之间的一致性更高。

由于本文的Self-Diffuser模型架构中引入了扩散机制，本文在BIWI-Test-B测试集中计算了所有序列的Diversity值，见 表4 。

由 表4 可知，本文提出的模型在生成面部与语音不相关或松散相关的区域生成大范围的运动和多样性表情上取得了比Self Talk [14] 更好的结果。同时本文的模型生成的表情多样性的结果也优于Code Talker [20] 。

本文在BIWI-Test-A的测试方法下将真实值与本文的Self-Diffuser模型及最先进的方法 [13] [14] [22] [24] 进行了面部运动的可视化的定性评估对比。 图3 至 图9 均为在BIWI-Test-A的测试方法下，面部运动的比较结果。

通过不同模型的发音口型对比，结果表明本文的Self-Diffuser模型产生了更精确的嘴部运动，且更贴近于真实值的嘴部动作。如 图3 所示，对于需要张嘴的音节，如“/wɒ/”，本文模型的上唇会有更明显的向上卷曲运动。如 图4、5 所示，对于需要闭嘴的音节，如“/bl/”、“/ri/”，较其他模型，本文的方法产生了更准确的闭嘴动作。

进一步，本文在BIWI-Test-B的测试方法下，也将真实值与本文的Self-Diffuser模型及参考文献 [13] [14] [22] [24] 进行了面部运动的可视化的定性评估对比。同样的，通过不同模型的发音口型对比，结果表明本文模型产生了更精确的嘴部运动，且更贴近于真实值的嘴部动作。如 图6 所示，对于张嘴前的音节嘴型，比如“/w/”，本文模型的上下唇会有更明显的卷曲运动。如 图7 所示，对于需要张嘴的音节，比如“/ən/”，本文模型生成的上下唇合成了更明显的张口运动。如 图8 所示，对于需要闭嘴的音节，如“/pen/”，本文的方法合成了较于其他模型更准确的闭嘴动作。对于音节“/sɪ/”，如 图9 所示，本文的方法也产生了与真实值更加贴合的嘴部动作。

为了检验本文提出的Self-Diffuser模型架构中各组成部分对生成的3D说话面部质量的影响，本节进行了消融实验。具体来说，本文进行了去除扩散机制、更换编码器及更换解码器的实验；同时通过实验验证了本文的简单损失函数比一些复杂的损失函数在LVE、FDD方面取得了更好的效果。

本文的Self-Diffuser模型在BIWI-Test-A测试集下的消融实验，主要包括：扩散机制的消融研究、编码器的消融实验、解码器的消融实验以及损失函数的实验研究。并在各部分消融实验中通过计算客观指标LVE、FDD进行定量分析。

为了验证本文的Self-Diffuser模型的简单损失函数(Λ)具有更好的性能，本文逐步添加了Self Talk [14] 中的重建损失函数(Reconstruction Loss, L_rec)、速度损失函数(Velocity Loss, L_vel)、潜在一致性损失函数(Latent Consistency Loss, L_lat)和文本一致性损失函数(Text Construction Loss, L_ctc)。如 表5 所示，在BIWI数据集，在简单损失函数的基础上加上L_rec、L_vel、L_lat、L_ctc后计算的LVE和FDD指标都高于本文的简单损失函数。表明在BIWI数据集上，本文的简单损失函数在上面部动态偏差及嘴唇的运动生成方面都表现出了更加优越的性能。

为了证明本文的Self-Diffuser模型架构中的编码器为最优选择，通过将Hubert编码器取代本文模型中使用的wav2vec 2.0编码器的方式进行实验。如 表5 所示，在BIWI数据集上，本文的wav2vec 2.0编码器在LVE、FDD客观指标方面表现更好。

为了证明本文的Self-Diffuser模型架构中的解码器在本文模型中的表现更好，通过将更简单的GRU解码器取代本文更复杂的Transformer解码器的方法进行了消融实验。 表5 中显示了在BIWI数据集上的客观结果，即本文的Transformer解码器在测试配置中的LVE、FDD的客观指标方面表现更佳。

为了验证扩散机制在本文的Self-Diffuser模型架构中的表现，本文训练了一个没有扩散的类似模型进行比较。如 表5 所示，在BIWI数据集上，本文引入的扩散机制的模型架构比去除扩散机制的模型在LVE、FDD的客观指标方面的结果都较好。

如 表6 所示，在BIWI数据集上进行扩散机制的消融实验，通过Diversity的指标可以看出，引入了扩散机制的本文的Self-Diffuser模型生成的面部表情的多样性明显更好。

为了更加直观地分析本文的Self-Diffuser模型在引入扩散机制后在多样性度量方面的表现优于Self Talk [14] ，对生成的动画序列进行了定性分析，将预测的生成序列与真实值进行比较，并将其差异进行了可视化呈现。本文Self-Diffuser模型从BIWI-Test-B测试集的生成动画序列中，抽取以不同训练主题对象为条件，由相同音频生成的动画序列其中的同一帧，并通过运动多样性度量进行模型多样性的定性分析，结果如 图10 所示。

与之对比，Self Talk模型从BIWI-Test-B测试集的生成动画序列中，抽取了以不同训练主题对象为条件，由相同音频生成的动画序列其中的同一帧，并通过运动多样性度量进行模型多样性的定性分析，见 图11 。

通过 图10 和 图11 分别可以观察到本文的模型架构在不同主题条件作用在生成的动画序列中产生了多样性，而Self Talk [14] 的多样性几乎没有。