基于文本模态的情感分析，相较于图像和音频模态的数据源，文本模态存在更高语义维度的信息，也是情感分析的重要领域。从早期通过情感词典的方式，文献 [ 5 ] 提出了WordNet-Affect方法，文献 [ 6 ] 贡献了BosonBLP方案，这些都是通过建立词语与情感标签的映射关系，进而实现情感匹配。随后，基于机器学习的方案提出来，例如支持向量机SVM [ 6 ] 、贝叶斯等方法，给每个数据集贴上标签，依赖于监督学习，再去训练情感分类器识别文本中的情感信息 [ 7 ] 。近年来，研究方向聚焦于通过卷积神经网络 [ 8 ] 、LSTM [ 9 ] 、注意力机制等深度学习方案去做情感分析，能够更加精细化准确预测出情感状态。

基于音频模态的情感分析，主要涉及到三个特征的识别，分别是频谱特征、音频特征和音律特征。文献 [ 8 ] 采用LSTM和RNN模型融合音频信息中的韵律特征和语义特征，取得了良好的效果。文献 [ 10 ] 结合了CNN提取频谱图特征以及将MFCC等传统信息输入到LSTM中做特征提取，最后采用注意力机制做特征融合和情感分类，得到了显著的效果。

基于图像模态的情感分析，通过面部表情是最为直观的情感表达方式，具有丰富的感染力。文献 [ 11 ] 提出的面部动作编码系统为后续的图像情感识别研究奠定了基础，采用的CNN做特征提取，取得了较好的准确率。文献 [ 12 ] 提出了一种在Inception ResNet提取了特征以后，再采用3D CNN融合LSTM网络的识别方案做情感分类，得到了显著的提升。

综上所述，这三个单模态情感分析的方式在各自领域都有较好的发展，但是同时也是受限于单个模态信息的原因，单个模态的信息是无法满足多模态数据源场景的，所以本文侧重于多模态情感分析的研究。

按照融合的时机做划分，可以划分为三种类型：早期融合、晚期融合以及混合融合。早期融合通常采用向量相加、向量拼接后者向量相乘的方式操作。首先把各自模态的特征提取出来后，再做一个串联的操作，最后把总的特征向量输出到分类器中，流程如图1所示。

图1. 早期融合方式

该种方案避免了特征的归一化和缩放，能够利用好模态间的互补信息，但是存在忽略掉模态间的动态联系。随后，还有晚期融合的方式，在各个模态做完分类任务之后，再由决策层通过投票等方式得到最终的决策结果，流程如图2所示。

还有一种结合了早期融合和晚期融合的方式，继承了两种方式的优点并且还优化了彼此的不足，如图3所示，模态1和模态2两个模态率先做信息融合，结果再由分类器1输出，之后再于模态3经过分类器2输出的结果再做一次决策融合，进而得到最后的情感结果，这种融合方式虽然结合了模态间数据的差异性，也考虑模态间的交互性，但是也给模型增大了复杂度和可实现性。

从融合方式角度出发，可以分为两种方式。融合方式是指将各个模态的向量信息通过首尾拼接或者加权求和的方式完成向量的拼接融合工作。得益于神经网络具备良好的非线性映射能力，以及配置神经元的层级结构等方式，在特征融合方面有比较好的效果。本文采用的模型基于第三种混合融合范式去做后续的情感分析。

图2. 决策期融合方式

图3. 混合融合方式

通过多模态数据，将各个模态信息做互补会带来更好的情感分析结果。文献 [ 13 ] 提出了一项多模态情感分析调研，用于情感分析、情绪分析。文献 [ 14 ] 提出了一种基于多头注意力的多模态情感分类模型，但是存在没有融合上下文信息的问题。文献 [ 15 ] 提出了一种数据集合决策级的融合方法，通过张量将文本、音频和视频嵌入到决策层。上诉模型方法的侧重点在于模型的融合方式，而缺乏对于优化器层面的考虑，本文从优化器层面作为切入点做接下来的研究。

Lion [ 16 ] 优化器，相比较主流的优化器，具备更快的速度以及更小的内存。Adan [ 17 ] 优化器，由Sea AI LAB和ZERO Lab团队共同提出，可以应用于CV、NLP等多个场景中。Adam [ 18 ] 优化器，由SGDM [ 19 ] 和RMSProp [ 20 ] 所构成，擅长于解决一些随机小样本、自适应学习率这些问题。AdamW [ 21 ] 优化器，是Adam优化器的变体，擅长处理大数据集，可以自动调整学习率自动调整权重衰退的系数，进而增强模型的稳定性，避免模型过拟合。本文将采用以上优化器做后续的对比实验。

在多模态融合之前，需要将各个模态的特征做提取。设定文本模态输入为 X t ，音频模态输入为 X a ，视频模态输入为 X v ，输入集合记为 X = { X t , X a , X v } 。经过特征提取后，需要得到文本特征记为 F t ，音频特征记为 F a ，视频特征记为 F v ，特征集合记为 F = { F t , F a , F v } 。

文本模态，本文采用BERT [ 22 ] 作为特征提取器。模型架构如图5所示。

音频以及视频模态，因为数据具有时序性，所以采用的LSTM [ 23 ] 作为特征提取器。LSTM包含了三个重要的模块，分别是输入门、遗忘门以及输出门，输入门负责更新细胞的状态，遗忘门负责管理输入到改模块的信息是保留还是丢弃，输出门负责更新细胞传送给下一个神经元。

在特征提取后，这些特征向量将会应用于后续的ULGM [ 4 ] 以及多模态融合模块。

由于三个模态的数据维度存在差异。需要将通过向量投射的方式将三个模态的数据映射到同一个空间。映射后的特征向量记作 F m ∗ ，转化过程公式(1)所示。

F m ∗ = ReLU ( W m F m + b m ) (1)

之后，需要用到两个部分的数据信息，第一部分是由三个模态拼接而成特征F，第二部分需要采用ULGM模块(Unimodal Lable Generation Module)对单个模态做自监督训练，进而得到各自模态的自监督伪标签，用于辅助后续的模型训练。

图5. BERT模型图

最后，我们在优化器模块做调整。优化器是用于优化损失函数，使得损失函数能够朝着更小化的方式调整训练的参数，通过实验对比本文最终采用AdamW作为模型的优化器，并与Lion、Adan、Adam优化器作对比实验。

本文实验环境如下所示：所有实验在Dell Precision 7920塔式工作站上进行的，其硬件配置如下。内存空间大小125 GB，CPU搭载Intel(R) Xeon(R) Silver 4210芯片，GPU型号为NVIDIA TITAN RTX，显存大小24 GB。软件环境如下，操作系统采用Ubuntu 16.04 LTS 64位，开发语言采用Python 3.9版本，深度学习框架采用PyTorch 1.1.2版本。