近年来，基于深度学习的文本挖掘方法得到了广泛应用，尤其是在情感分析任务中展现了其优势。Jelodar等(2020)利用LSTM对COVID-19评论进行情感分析，取得了优于传统机器学习算法的表现 [8] ；Olabanjo等(2023)则在总统选举舆论分析中使用神经网络模型，在多个维度超越LSVC模型 [9] 。2018年，BERT [10] 横空出现，在11项NLP任务中做到业界最强，被广泛应用于各类情感挖掘任务。例如，王建成等(2020)用神经主题模型识别对话的情感极性 [11] ，綦方中和田宇阳(2020)基于Bert和LDA混合模型对酒店评论进行情感挖掘 [12] ，Hartmann等(2023)提出的SiEBERT模型对比词典和传统机器学习模型中表现最佳 [13] ，Olabanjo等(2023)的BSERT模型也超过了LSTM模型 [9] 。

随着媒体格局的变化，社交媒体已成为主要信息来源 [14] 。越来越多的研究者开始从社交媒体文本中挖掘信息，探索其价值。例如，Mao等(2015)基于Twitter文本提取的网民情感不仅能够反映投资者情绪的变化，还能预测股票市场未来表现 [15] ；崔炎炎和刘立新(2022)对金融创新股票相关微博进行投资者情绪挖掘和股价预测，发现负向投资者情绪对收盘价具有负向影响 [16] ；Angelico等(2022)则建立通胀预期指标，显示社交媒体对传统调查得到的通胀预期指标的预测潜力 [17] 。在消费者信心领域，研究还主要集中在其对经济变量和周期的驱动作用上 [18] - [20] ，从社交媒体消费舆情视角探究舆情对消费者信心的研究有限。Lehrer等(2019)将社交媒体情绪指标USSI [21] 应用于美国消费者信心指数的预测，显著提升了预测效果 [22] ；Qiu (2020)进一步优化算法，提升了准确性 [23] ；张一帆等(2023)利用媒体文本构建情绪指数，挖掘其对消费增速预测的独特价值 [24] ；Zhang et al. (2024)也证明了消费者情绪与社交媒体网红情绪之间的关联 [25] 。

综上，本文利用Bert预训练情感模型挖掘社交媒体消费舆情，对其在消费者信心方面的价值进行验证和评价，期望为该领域研究补充更加全面、准确的视角。

为获取当下与消费者信心相关的不同维度的热点主题和关键词，本文选取了中国主流媒体之一的新华网财经频道，爬取了2023年5月至2024年4月近一年发布的1986条每日新闻。通过词频技术提取文本中的前1%高频词，并过滤掉与新闻主题无关的停用词和过于泛化的词汇。经过筛选后的Top 100高频词云图见 图2 ：

消费者信心包含对众多宏观经济和家庭层面变量的预期 [26] ，本文综合参考上述高频词、密歇根指数 [27] 和中国信心指数 [28] [29] 的调查内容后，选取了经济形势、生活状况、投资、就业、物价水平和购房6个维度的25个关键词，构成的消费舆情关键词库见 表1 ：

截止2023年第四季度，微博平台月活跃用户达到5.98亿，是当今中国最大的公共信息发布平台之一。网民在平台上发布帖子和交流，高互动性的热门微博往往承载着更广泛的公众意见。基于已构建的关键词库，文本以每个关键词作为种子，爬取了微博平台内2015年1月至2024年5月每日前50条热门微博，共计约178.2万条，构成微博文本数据集。各主题维度的文本数量及内容见 表2 ：

Bert基于Transformer的Encoder层堆叠而成，这种结构使得Bert能够学习和抽取不同层次和粒度的语义信息，获得更丰富的语义表示。同时，相比RNN的顺序计算，Bert也继承Transformer可以并行计算的优点大幅提高了运算速度。Bert的基本结构见 图3 ：

在输入层，位置编码(Position Encoding) [30] 额外提供每个token的位置信息，用来识别序列的顺序关系。位置编码使用不同频率的正弦函数和余弦函数计算：

$P{E}_{\left(pos,2i\right)}=\sin \left(pos/{10000}^{2i/d_{\text{model}}}\right)$ (1)

$P{E}_{\left(pos,2i+1\right)}=\cos \left(pos/{10000}^{2i/d_{\text{model}}}\right)$ (2)

其中，pos是句子中token的位置，d_model是嵌入维度，i代表向量维度索引，公式所得到的位置编码维度和嵌入向量维度d_model相同，二者相加一起输入至编码层。

在编码层，自注意力机制(self-attention)是Bert的核心部分。用S_embedding表示句子S经过输入层后的最终嵌入特征，它的维度为sequence_length × embedding_dimension (sequence_length是句子长度，embedding_dimension 表示token的维度)。分配三个权重矩阵对每一个特征输入作线性映射，得到Query矩阵(Q)、Key矩阵(K)和Value矩阵(V)：

$Q=S_{\text{embedding}}{W}_Q$ (3)

$K=S_{\text{embedding}}{W}_K$ (4)

$V=S_{\text{embedding}}{W}_V$ (5)

接着，基于三个向量做以下计算：

$Z=\text{attention}\left(Q,K,V\right)=\text{softmax}\left(\frac{Q{K}^{\text{Τ}}}{\sqrt{d_k}}\right)V$ (6)

式(6)中，用注意力矩阵 $Q{K}^{{\rm T}}$除以 $\sqrt{d_k}$转换为标准正态分布( $d_k$通常取64)，使得softmax归一化后的结果更加稳定，从而帮助模型更易获得平衡的梯度。softmax变换后，得到的注意力权重分配与V相乘，得到基于一个attention生成的one-head表示Z。将多个Z拼接并进行转换，最终获得句子S的多头表示。

(1) 模型参数和评价指标

前期我们在每个主题维度文本中分别抽取4000条微博进行人工标注，共24,000条。根据文本情感，我们将其分为负向、正向和中性，并用−1、0、1表示。负向文本表达负面情绪，正向文本相反，中性文本则为无明确情感倾向或与主题无关的内容。

本文采用bert-base-chinese模型进行训练。每个主题的标注文本的80%作为训练集，20%作为测试集。由于数据集中文本类别不平衡，特别是中性文本占比过大，可能导致模型偏向于预测大类别。为此，我们调整了损失函数的权重，给予正向和负向文本更高的权重，以提升模型对小类别的识别能力。此外，Bert模型的最大输入长度为510个token。为保留微博文本中的关键信息，超过长度的文本选取前128个和后382个token。具体的模型参数设置见 表3 。

本文基于Bert分别对6类主题文本进行建模，并与TextCNN进行对比，以正确率(accuracy)、精确率(precision)、召回率(recall)和F1得分(F1-score)作为模型评价指标：

$\text{accurancy}=\frac{{\displaystyle {\sum }_{i=1}^{N}T{P}_i}}{{\displaystyle {\sum }_{i=1}^N\left(T{P}_i+F{N}_i+F{P}_i\right)}}$ (7)

$\text{precision}=\frac{1}{N}{\displaystyle {\sum }_{i=1}^N{\text{precision}}_i}=\frac{1}{N}{\displaystyle {\sum }_{i=1}^N\frac{T{P}_i}{T{P}_i+F{P}_i}}$ (8)

$\text{recall}=\frac{1}{N}{\displaystyle {\sum }_{i=1}^N{\text{recall}}_i}=\frac{1}{N}{\displaystyle {\sum }_{i=1}^N\frac{T{P}_i}{T{P}_i+F{N}_i}}$ (9)

$\text{F}1\text{-score}=\frac{2}{N}{\displaystyle {\sum }_{i=1}^N\frac{{\text{precision}}_i\times {\text{recall}}_i}{{\text{precision}}_i+{\text{recall}}_i}}$ (10)

(2) 情感分类结果

模型情感分类结果见 表4 。从模型分类效果看，Bert均优于TextCNN，特别体现在Precision和F1-score的提升。除此之外，Bert对于不同主题维度文本分类的鲁棒性也显著优于TextCNN，经济形势、生活状况、投资、物价水平4个主题的所有评价指标都高于0.85，就业、购房主题高于0.8，而TextCNN在这两类主题中的表现与其他主题差距较大。Bert的表现验证了其在挖掘消费者预期方面的优越性和稳定性。本文用Bert对剩余所有未标注文本进行分类。

首先定义单条微博的舆情得分，它由情感得分和热度得分组成。情感得分根据Bert情感分类结果得到：

${\text{score}}_{\text{sentiment}}=\{\begin{array}{l}1,正向情感\\ 0,中性情感\\ -1,�向情感\end{array}$ (11)

微博热度的高低能反映网民的情感强度，具体可以表现在点赞、转发、评论量上。因此，本文创新性地提出热度得分：

${\text{score}}_{\text{hot}}={\displaystyle {\sum }_{i=1}^3{\theta }_{i}nu{m}_i},i=1,2,3$ (12)

其中， $nu{m}_i$是点赞、评论、转发的数量， ${\theta }_i$是权重，本文 ${\theta }_1={\theta }_2={\theta }_3=\frac{1}{3}$。

舆情得分由热度得分和情感得分相乘得到：

${\text{score}}_{\text{composite}}={\text{score}}_{\text{sentiment}}{\text{score}}_{\text{hot}}$ (13)

舆情得分同时考虑了微博的情感倾向和热度。符号反映情感倾向，绝对数值反映情感强度。中性微博的舆情得分为0。

按时间窗口划分，计算不同维度的月度网络消费舆情子指数(Consumer Public Opinion Sub-Index, CPOSI)：

${\text{CPOSI}}_i={\displaystyle \sum \frac{{\text{total}}_{\text{positive}}+{\text{total}}_{\text{negative}}}{{\text{total}}_{\text{positive}}-{\text{total}}_{\text{negative}}}},i=1,\cdots ,6$ (14)

其中， ${\text{total}}_{\text{positive}}$是积极情感微博的消费舆情得分总和， ${\text{total}}_{\text{negative}}$相反。

参考CCI的尺度对子指数加总后的结果进行放大，得到月度网络舆情指数：

$\text{CPOI}=100+\frac{{\displaystyle {\sum }_{i=1}^6{\text{CPOSI}}_i}}{6}\times 100$ (15)

与CCI一致，CPOI以100为中值，在0至200之间变动。 $\text{CPOI}>100$表明网民对当前经济和消费形势的态度以及未来预期总体积极， $\text{CPOI}<100$时则相反。

根据上述网络舆情指数的构建方法和情感分类结果，本文计算得到了原始的网络消费舆情指数，但其由于随机波动与非系统性噪声呈现出较大的波动。因此，采用小波变换对其进行去噪和趋势提取。小波变换可通过多分辨率分析捕捉信号特征并去除噪声，过程包括小波分解、阈值处理和信号重构。多分辨率分析框架下的信号重构表示为：

$f\left(n\right)={\displaystyle {\sum }_{k=-k_0}^{K_{j_0}}{c}_{j_0,k}{\varphi }_{j_0,k}}\left(2^{j_0}n-k\right)+{\displaystyle {\sum }_{J=j_0}^J{\displaystyle {\sum }_{k=-k_0}^{K_J}{d}_{j,k}{\phi }_{j,k}}}\left(2^{j}n-k\right),n=0,1,\cdots ,N_t-1$ (16)

其中， ${\varphi }_{j_0,k}\left(2^{j_0}n-k\right)$， ${\phi }_{j,k}\left(2^{j}n-k\right)$分别是尺度函数 $\varphi \left(t\right)$和母小波函数 $\phi \left(t\right)$的伸缩和平移函数簇； $c_{j_0,k}$和 $d_{j,k}$是伸缩尺度为j₀，j，平移尺度为k的展开系数，N_t是时间序列的点数。

对原始的消费舆情指数进行ADF检验，p值为0.2297，是非平稳信号。因此选择具有紧支撑性和正交性、适合非平稳信号处理的Daubechies 4 (db4) 4层小波分解，并进行软阈值处理。小波变换后的CPOI见 图4 ，降噪后的CPOI更清晰地提取了消费舆情的变化趋势。

小波变换后的CPOI和CCI见 图5 。直观地看，2021年之前，CCI呈现先缓慢上升后稳定的趋势。CPOI虽然有一定波动，但与CCI基本一致。从2021年开始，CPOI将逐渐下降到最低水平，并从2023年底开始略有回升。另一方面，CCI在2022年初急剧下降后，一直保持在较低水平。我们对两者的相关性进行分析，结果表明Pearson相关系数达0.8775，p值远小于0.01。由此表明，CPOI与CCI可能存在正向作用关系，随着CPOI的下降，CCI也趋于下降。

为了证明这种关系是否是长期稳定的，本文对两者进行协整检验。由于两个序列都是非平稳的，对两者进行一阶差分，确定其是同阶单整后采用Engle-Granger两步法。对OLS回归后的残差进行ADF检验，p值为0.0033，因此在1%的显著性水平下可以认为调整后的CPOI和CCI之间存在长期稳定的均衡关系。

作为一种特殊的RNN，长短期记忆神经网络(LSTM) [31] 解决了传统RNN由于长期依赖导致的梯度消失和梯度爆炸的问题，非常适合用于时间序列模型预测。与标准的RNN单元相比，LSTM引入了一种门控机制，包括遗忘门、输入门、输出门三个控制门和单元状态。t时刻的记忆单元结构见 图6 ：

在时刻t，LSTM接收输入特征X_t以及前一时刻的单元状态C_t-1和输出h_t-1，并通过三种门控机制过滤和更新信息。遗忘门负责选择需要遗忘的信息，输入门确定需要添加的新信息，并结合遗忘门和单元状态更新当前记忆。输出门则选择哪些信息是当前时刻的输出，最终生成一个新的状态和输出。

本文采用中国国家统计局发布的消费者信心指数作为被解释变量。在解释变量的选择上，考虑到传统的消费者信心指数预测往往以相关经济指标作为解释变量 [32] ，因此将GDP累计同比增速(GDPG)、16~24岁劳动力城镇调查失业率(UR16~24)、居民消费价格指数(CPI)、居民人均可支配收入累计同比增速(ICG)、国房景气指数(RECI)、上证综合指数(SCI)分别作为反映经济形势、就业状况、物价水平、生活状况、购房和投资6个方面的宏观经济指标，用以建立传统的预测模型，与加入CPOI的模型进行对比。其中，GDP累计同比增速和居民人均可支配收入累计同比增速是季度数据，考虑到数据总体波动不大，故将季度数据视作该季度内每个月的月度数据；16~24岁劳动力城镇调查失业率存在个别月份的数据缺失，采用三次样条插值进行填补。LSTM分组实验说明见 表5 ：

为消除量纲和异常值的影响，提升模型的预测性能，用式19对所有变量进行极值归一化处理，预测完成后再通过逆算得到预测值。

$N\left(x_i\right)=\frac{x_i-x_{\min }}{x_{\max }-x_{\min }}$ (17)

为了评估不同模型以及同一模型的对照组和实验组的预测效果，本文采用均方根误差(Root Mean Square Error, RMSE)、平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)、对称平均绝对百分比误差(Symmetric Mean Absolute Percentage Error, SMAPE)三个指标对模型预测效果进行评价：

$\text{RMSE}=\sqrt{\text{MSE}}=\sqrt{\frac{1}{n}{\displaystyle {\sum }_{l=1}^n{\left(y_l-{\hat{y}}_l\right)}^2}}$ (18)

$\text{MAPE}=\frac{100\%}{n}{\displaystyle {\sum }_{l=1}^n\left|\frac{y_l-{\hat{y}}_l}{y_l}\right|}$ (19)

$\text{SMAPE}=\frac{100\%}{n}{\displaystyle {\sum }_{l=1}^n\frac{2\left|y_l-{\hat{y}}_l\right|}{\left|y_l\right|+\left|{\hat{y}}_l\right|}}$ (20)

其中， $y_l$是实际值， ${\hat{y}}_l$是预测值，n是样本量。当RMSE越接近于0、MAPE和SMAPE越接近于0%时，模型的误差越小，预测精度越好。

根据上文模型变量设计，本文设置传统变量构成的对照组M1和加入CPOI的实验组M2，采用Python的Tensorflow框架分别进行LSTM建模。为了优化模型参数，采用网格搜索(Grid Search)定义参数网格，遍历所有参数组合并进行交叉验证(Cross-Validation)，从而选择最优参数组合。此外，引入早停机制防止模型过拟合，当验证损失在连续5个训练周期内没有改善时停止训练。本文最终设置参数见 表6 ：

以时间序列数据的前80%为训练集、后20%为测试集，分别对对照组M1和实验组M2建立LSTM模型，最终拟合效果见 表7 ：

通过对比对照组M1与实验组M2的表现可以清晰地看到，在引入CPOI这一变量后，实验组M2在三个评价指标上的表现均展现出了显著的优越性，相较于对照组M1有着明显的提升。具体而言，实验组M2的RMSE降低了26.21%，MAPE下降了28.82%，而SMAPE也实现了28.92%的降幅。这一结果不仅彰显了CPOI在优化预测模型中的关键作用，而且验证了网络消费舆情对提升消费者信心指数预测精度的积极影响。

分组实验结果已经证实了加入消费舆情指数的实验组M2模型对预测样本消费者信心指数的更优表现。但为了进一步考量LSTM模型本身的预测效果，本文选择GRU和随机森林模型作为对照模型，并在长期(12期)和短期(6期)不同期限内检验LSTM模型的稳健性。不同期限模型预测结果见 表8 ：

表8 分别展示了在3个不同模型和长、短期限中样本CCI的预测结果。从预测效果来看，LSTM模型的RMSE、MAPE、SMAPE无论在长期还是短期均远远优于其他两个模型。LSTM三项指标均值为0.7002、0.6277%、0.6259%，较GRU的1.2179、1.2060%、1.2002%分别下降42.51%、47.95%、47.85%，较Random Forest的4.8025、5.1717%、5.0262%分别下降85.42%、87.86%、87.55%。因此，可以判断，三个模型中LSTM在不同预测期限上的预测效果都是最佳的。

从稳健性来看，当增加预测期限时，LSTM的RMSE上升了6.35%，小于GRU和Random Forest的23.68%、11.22%；LSTM的MAPE上升了0.34%，小于GRU和Random Forest的13.0%、0.69%；LSTM的SMAPE上升了0.24%，小于GRU的11.94%，稍大于Random Forest的0.09%。尽管LSTM的SMPE指标稳健性表现略逊于Random Forest，但总体来说LSTM的稳健性在三个模型中还是最优的。我们可以进一步得出，基于本文实证数据，LSTM模型在预测效果和模型稳健性上均为最佳模型。