我们提出的方法在编码器中有效地采用了最先进的自监督预训练语音模型Hu BERT，用于语音驱动3D面部动画生成的下游任务。由于Hu BERT模型能够学习并产生结合声学和语言信息的连续音频流的高质量离散隐藏表示，因此Hu BERT的作者提出可以将Hu BERT预训练的隐藏层表示用于各种下游任务 [16] 。

Hu BERT模型架构在Transformer层引入了一个类似BERT [19] 的屏蔽语言建模的编码器。与之前的Wav2vec 2.0 [20] 复杂的对比损失相比，它引入了一个简单的交叉熵损失来预测屏蔽单元。此外，与Wav2Vec2.0不同，Hu BERT是通过多次迭代进行训练的。在第一次迭代中，Hu BERT使用无监督的简单k均值聚类进行声学单元发现，以促进在第二次迭代中进行的自监督掩码语言建模学习。在第二次迭代中，训练是在发现的离散隐藏单元上完成的，仅在屏蔽区域上有预测损失，迫使模型使用类似BERT的编码器学习声学和语言的组合模型，因此称为H(idden)-u(nit)-BERT。Hu BERT由CNN编码器、特征投影层、位置卷积嵌入层和Transformer层组成，CNN编码器将连续音频数据离散为512维表示。特征投影层将512维表示投影为768维表示，12个Transformer层用来捕获序列中的上下文信息。

在本文的方法中，采用具有100 M个参数的Hu BERT下游任务微调模型，在最后一个隐藏状态下产生768维的嵌入。初始化预训练权重参数，不冻结Hu BERT中的任何层，在预训练权重参数下进行微调。

$c_t=\text{SpeechEncoder}\left(Y_t\right)$(2)

其中 $Y_t$是由原始音频序列χ经过处理之后得到的表示。

Linear_Interpolation层的作用主要是对经特征提取层提取到的语音特征表示进行帧率的转换。在训练和验证阶段，需要传入3D面部运动顶点的帧数，从语音提取特征帧率转换为3D面部运动顶点的帧率，并对齐顶点的帧数。在推理阶段，根据语音特征表示的帧率和帧数以及3D面部运动顶点的帧率计算输出的帧数。该层不包含任何需要训练的参数，只是实现帧率的转换以及保证语音特征表示与3D人脸顶点序列的一对一的帧级关系。

Flash [17] 这一模块融合了部分注意力和线性注意力的优点。输入序列被划分为几个大小相同的不重叠的块。首先，对每个块独立施加局部二次注意力，产生部分预门控状态。此外，采用全局线性注意机制来捕捉跨块的远程交互，最后将以上两部分的表示进行相加，再进行门控和后注意力投影。

$b_{t^{\prime }}=\text{Flash}\left(c_t\right)$(3)

其中， $b_{t^{\prime }}\in B_{1:T^{\prime }}$，是经过Speech Encoder和Flash处理后的语音上下文表示。

Motion Encoder的作用是将人脸顶点序列从人脸顶点维度转换到特征维度。Motion Decoder的作用是将预测的人脸顶点序列从特征维度转换到人脸顶点维度。这两部分主要是实现人脸顶点维度与特征维度之间的转换。

我们的解码器使用的是Transformer Decoder这一模块。在其中引入了Face Former [11] 中使用的周期性位置编码模块(PPE)，这个模块可以注入时间顺序信息。并且与原始Transformer Decoder不同，引入了Face Former [11] 中提出的有偏置的跨模态注意力机制和有偏置的自注意力机制。

有偏置的自注意力机制是用于对输入的真实人脸顶点序列进行处理，由图1中的Biasa可知，该偏置不仅可以屏蔽预测帧之后的信息，而且对于过去的人脸顶点序列，将较高的注意力权重分配给较近的时间段，对于较远的时间段，则分配较低的注意力权重。较近时间段的人脸序列帧对当前帧影响较大。

有偏置的跨模态注意力机制如 图1 中的Biasb可知，它的主要作用是实现语音特征表示与经有偏置自注意力机制处理的人脸运动表示之间的对齐。

${\hat{a}}_t=\text{TransformerDecoder}\left({\hat{a}}_{<t},g_n,b_{t^{\prime }}\right)$(4)

其中t是序列中的当前时间步长， $g_n$是说话人n的说话风格嵌入， ${\hat{a}}_t\in {\hat{A}}_{1:T}$。

在训练阶段，我们采用自回归方案代替Teacher-Forcing方案。并且在最后做了使用Teacher-Forcing方案训练的对比实验。在验证阶段，主要是使预测序列 ${\hat{A}}_{1:T}=\left({\hat{a}}_1,\cdots ,{\hat{a}}_T\right)$与真实序列 $A_{1:T}=\left(a_1,\cdots ,a_T\right)$之间的均方误差(MSE)尽可能的小。

重建损失如公式5所示。

$L_{\text{MSE}}={\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{n=1}{\overset{N}{\sum }}{\Vert {\hat{a}}_{t,n}-a_{t,n}\Vert }^2}}$(5)

其中的N代表的是三维面部网格的顶点数。

运动速度损失如公式6所示。

$L_{\text{MOE}}={\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{n=1}{\overset{N}{\sum }}{\Vert \left({\hat{a}}_{t,n}-{\hat{a}}_{t-1,n}\right)-\left(a_{t,n}-a_{t-1,n}\right)\Vert }^2}}$(6)

其中的N代表的是三维面部网格的顶点数。

$L_{\text{total}}={\lambda }_1{L}_{\text{MSE}}+{\lambda }_2{L}_{\text{MOE}}$(7)

其中 ${\lambda }_1$和 ${\lambda }_2$分别代表重建损失和运动速度损失的权重系数。

在推理阶段，模型自回归地预测3D人脸顶点序列。在每个时间步，它预测基于原始音频χ、之前的面部运动 ${\hat{a}}_{<t}$和说话人的风格嵌入表示 $g_n$的面部运动 ${\hat{a}}_t$，如公式1所示。 $g_n$由说话人的身份来确定，因此可以通过改变One-Hot身份向量来操纵不同说话人风格的输出。

本实验使用了一个公开可用的3D数据集VOCASET [9] 进行训练和测试。该数据集提供了英语口语的音频-3D扫描对。VOCASET包含255个独特的句子，其中一些句子在说话者之间共享。

VOCASET数据集包含从12个受试者中捕获的480对音频和3D面部运动序列。面部运动序列以每秒60帧的速度记录，长度约为4秒。VOCASET中的3D人脸网格注册到FLAME [21] 拓扑，每个网格有5023个顶点。为了和其他几个模型公平的比较，我们采用了与Face Former [11] 和Code Talker [13] 相同的训练(VOCA Train)、验证(VOCA-Val)和测试(VOCA-Test)分割。

我们将本文提出的HBF Talk端到端的神经网络模型与两种先进的方法Face Former [11] 和Code Talker [13] 进行了比较。首先将Face Former [11] 和Code Talker [13] 与HBF Talk在同等条件下，用VOCASET数据集进行了训练和测试。做了定量评估和在相同说话风格的条件下的定性评估，最后对我们提出的模型进行了消融实验。

所有的模型训练都是在一个装有Linux系统的电脑上完成的，该电脑配备GEFORCE RTX 4070Ti显卡。模型训练的超参数见 表1 所示。

对于3D人脸的口型评估，本文遵循Face Former [11] 和Code Talker [13] 中使用的唇部同步度量来评估唇部运动的质量。所有唇形顶点的最大L2误差被定义为每帧的唇形误差，误差是通过比较预测和真实的三维人脸几何数据来计算的，取所有序列的所有帧的唇形误差的均值作为最终的LVE (唇顶点误差)指标。

本文的定量评估实验结果如 表2 所示。

表2 对比结果表明，本文所提出的HBF Talk模型相对于Face Former [11] 和Code Talker [13] 具有更低的唇顶点误差(LVE)，这表明和其他两种方法相比，本文提出的模型可以产生更加准确的嘴唇运动。

我们直观地比较了本文提出的方法与其他竞争者的方法。为了确保比较的公平性，我们将相同的讲话风格分配给Face Former、Code Talker和本文提出的HBF Talk作为条件输入。为了比较嘴唇和语音的同步情况，我们举例说明了五个典型的合成人脸动画序列帧，它们在特定的音节上说话。这五个合成人脸动画序列帧如 图2 到 图6 所示。

由 图2 到 图6 可知，与基线模型相比，本文提出的HBF Talk产生的唇形更准确地表达了语音信号，也更符合真实的唇形。例如，与Face Former和Code Talker相比，HBF Talk在发出/”ɪn”/的读音(即 图2 )时，有适当的张嘴，可以产生更好的口型同步；在发出English的前半部分的读音/”ɪŋglɪʃ”/ (即 图3 )、MY的读音/”maɪ”/ (即 图4 )和diagnosis的读音/”daɪəɡ’noʊsɪs”/ (即 图6 )时，HBF Talk可以产生准确的唇形，有适当的张嘴，而其他方法张嘴的幅度较小。即使是Subject中的/”t”/的发音( 图5 )，HBF Talk相对于其他方法也有一定的张嘴，具有较为准确的唇形。

为了分析本文提出的模型中的各个模块对模型整体效果的贡献，首先对Hu BERT预训练模型各层是否冻结预训练参数进行了研究，然后通过去掉或者替换模型中的某一模块来分析模型中的每一模块对生成的3D面部动画质量的影响。

本文进行了大量的实验来研究和优化Hu BERT在HBF Talk编码器中的作用。该消融实验是通过冻结Hu BERT模型在各个层的预训练参数来研究其作用。从不冻结(即每一层的参数都是可训练的)到所有层的权值都冻结(即所有层都用预训练参数，参数不可训练)。该消融实验研究结果见 表3 。

根据第3.1.1节中描述的Hu BERT结构，该消融实验的模型结构配置如下：(i) 没有层被冻结，所有层的参数都可以训练，(ii) CNN编码器(特征提取层)被冻结，(iii) CNN编码器(特征提取层)和特征投影层被冻结。对于模型(iv)至(viii)，除了冻结CNN编码器(特征提取层)和特征投影层外，每一个模型结构依次多冻结两个Transformer层。对于模型(ix)，仅仅保留最后一个Transformer层可训练，而对于(x)，整个Hu BERT预训练模型在训练期间被冻结。

尽管上述所有的模型配置都可以产生连贯流畅的三维人脸动画，但是我们发现(i)产生的唇顶点误差(LVE)最小，生成的动画与语音的相关性更强，表现力更加丰富。除此之外，当把模型配置从模型(ii)变化到(x)时，其所生成的三维人脸动画变得更加僵硬，并且唇形与语音之间的相关性变弱。本文选择的是没有层被冻结，即所有的参数都可以训练。

除了上述对Hu BERT模型的消融实验，本文还做了HBF Talk模型中其他部分在VOCA-Test上的消融实验。消融实验研究结果见 表4 。

为了分析训练阶段自回归机制(Autoregressive)的影响，本文在训练阶段使用Teacher-Forcing机制做了对比实验。简要解释一下这两种机制，自回归机制是一种生成模型的训练方法，其中模型根据先前生成的内容来逐步生成下一个元素。在自回归过程中，生成的每个元素都依赖于之前生成的元素。Teacher-Forcing机制在训练过程中，真实的目标输出被用作模型的输入，而不是使用模型自身生成的输出作为下一步的输入。由 表4 可知，在本文的模型中，自回归机制相比于Teacher-Forcing机制训练的模型有较好的结果，究其原因，在推理阶段是用模型自身生成的输出作为下一步的输入，所以用在训练阶段使用自回归机制的效果较好。

为了分析Flash模块对模型的影响，本文去除了模型中的Flash模块，在其他条件相同的情况下做了对比实验，Flash模块对语音的隐藏层表示进行了分块的块内局部注意力和块间全局注意力，最后相加经过门控输出，更好的建模了语音的隐藏层表示。由 表4 可知，通过Flash模块对语音的隐藏层表示进行再处理之后，会有更好的三维人脸动画效果。并且Wav2vec2 Flash Former与Face Former相比，相当于加上了Flash模块，由 表4 和 表2 可知，在Wav2vec2预训练模型下，Flash模块也能带来更好的三维人脸动画效果。

在语音驱动3D面部动画生成的这项任务中，在VOCA [9] 之后，很多相关的模型都使用Wav2vec2.0这一预训练的音频编码器，为了验证我们选用Hu BERT [16] 作为音频编码器的正确性，本文用Wav2vec2.0代替了Hu BERT，在其他条件相同的情况下做了对比实验。从 表4 可知，使用Hu BERT预训练模型进行语音驱动3D面部动画生成下游任务比使用Wav2vev2.0具有更好的效果。

为了验证本文所提出的模型中选择的解码器，本文对解码器使用不同的序列建模方法进行了消融实验。我们用更简单的RNN解码器和Bi LSTM解码器取代了本模型所选择的Transformer解码器。实验的结果如 表4 所示，Transformer解码器在同等参数条件下表现最好，在VOCA数据集上的误差更小，主要原因如3.2.2节所描述的那样，有偏置的自注意力机制实现了当前帧对过去帧的不同关注程度，而且有偏置的跨模态注意力机制对齐了人脸运动表示与语音表示。

本文使用L_MSE(重建损失，如公式5所示)和L_total(组合损失，如公式7所示)两种损失函数做了对比试验，由 表4 可知，用单纯的重建损失比组合损失能取得更好的效果。