秦皇岛市位于河北省的东北部，是中国近代滨海旅游的发祥地之一。秦皇岛滨海旅游最大的特色在于滨海观光，餐饮特色在于海鲜美食菜肴。近年来，游客餐饮消费逐渐向精神性消费转变，游客对旅游途中的餐饮体验直接决定了旅游体验感，在旅游地品尝当地特色美食已然成为旅游目的之一。研究旅游城市餐饮体验，对增强游客满意度，发展城市旅游业的影响不容小觑。

本文使用八爪鱼采集器收集美团平台的在线评论数据。爬取截止到2023年9月8日热度排行前160名店铺的部分评论数据，共计11,487条。获取的字段包括：商家名称、店铺评分、人均消费、地址、用户ID、评论时间、评论内容和评价星级。采集完成后以excel形式保存数据。部分原始数据如 表1 所示。

美团平台自成立以来深受消费者欢迎，且美团软件收集了数以万计消费者真实餐饮体验。因此，为了研究秦皇岛游客餐饮体验，本文选择美团平台的用户评论数据作为数据来源，为本文提供数据支撑。

本文使用八爪鱼采集器收集美团平台的在线评论文本数据。爬取截止到2023年9月8日热度排行前160名店铺的部分评论数据，共计11,487条。获取的字段包括：商家名称、评论内容和星级等。采集完成后，以excel形式保存数据。部分原始数据见 表1 。

由于美团平台数据量巨大，评论质量良莠不齐，难免会出现“噪声数据”对后续情感分析造成干扰。因此，在获取到原始数据后，先对数据进行清洗。具体包括：去除空白数据和重复评论数据。数据清洗共删除167条数据，剩余11,320条有效在线评论数据。

清洗后的在线评论数据是完整的句子结构，要对其进行中文分词处理。本文选取的是jieba分词精确模式对文本数据进行分词。分词后的数据会存在例如“的”“了”等词语和英文字符、特殊符号等信息，因此还需要对分词后的结果进行去停用词处理。本文在“哈工大停用词表”的基础上，结合店铺评论信息对停用词表进行扩充。经过分词和去停用词处理后的数据见 表2 。

爬取的原始数据包含评论星级字段，评论星级在一定程度上表示了游客餐饮体验情感倾向。将清洗后的11,320条数据中评分为1星和2星的评论信息标记为“负面评价”，标签设置为“0”；4星和5星的评论信息标记为“正面评价”，标签设置为“1”；星级为3星的271条评论数据情感倾向比较模糊，因此采用人工标注的方法。最终，得到正面评价10,112条，负面评价1198条。

最早产生的词向量方式是独热编码，但由于其无法计算向量之间相似度以及维度灾难问题，Word2vec模型开始代替独热编码作为预训练语言模型。Word2Vec模型主要包括CBOW模型和Skip-gram模型。Word2vec模型的主要作用是用神经网络的方式得到词向量。

本文先将分词后的数据通过word2vec预训练模型获得词向量，然后将训练得到的向量矩阵输入情感分析模型做后续的情感分类任务。本文设置Sg = 0，即选择CBOW算法。选择词向量维度为64，训练词与预测词在一个句子中的最大距离Windows = 3，词频控制Min-count = 1，其余参数使用原始默认参数。

Word2vec模型的缺点在于无法解决一词多义问题。而ELMO模型通过两层LSTM结构，使词向量不仅包含单词本身特征，也包含了句法特征和语义特征，在一定程度上解决了一词多义问题。

由于ELMO模型LSTM层无法做并行任务以及长序列依赖问题，自注意力机制应运而生。自注意力机制通过计算查询对象Q与被查询对象K中每一个词的相似度，相似度结果经过归一化层，得到Q与K中每一个词的相似概率值，概率值与原本的词向量相乘累加，得到新的词向量。注意力机制流程见 图1 。

BERT预训练模型是词向量技术发展至今的集大成者 [4] 。其模型基础为ELMO模型双向编码的思想，将ELMO模型中的LSTM模型换成融合了注意力机制的transformer模型encoder部分，模型结构图见 图2 。BERT模型的输入层包含不仅包含token Embeddings和segment Embedding，还包含表示位置信息的Position Embeddings位置编码。三个向量的叠加构成了BERT模型的输入部分。每次输入的起始token会固定设置为“CLS”，便于做情感分析下游任务。

BERT预训练模型选择的特征提取器是Transformer结构中encoder部分，每一层encoder都包含Multi-Head attention层和FeedForward层，在每一个子层内部的传输过程中都包括残差网络和归一化过程。当输入的词向量进入encoder部分时，首先在第一个子层先经过多头注意力部分，将结果进行残差处理和标准化处理；结果输入第二个子层，第二个子层将自注意力层处理后的新的词向量传送到前馈神经网络，也进行残差和归一化处理，其结构见 图3 。通过多层编码器的学习和更新，BERT预训练模型能够输出高质量的包含情感信息的词向量。

因此，BERT模型具有比较强的多义学习能力，相较于其他算法和模型，更加适用于情感分析的任务。对本文的情感分析问题，可以直接在BERT预训练模型上做单句二分类任务，计算预测分类标签和真实分类标签的交叉熵，将其作为优化目标，在任务数据上进行微调。也可以将情感分析作为预训练模型的下游任务，即将BERT预训练模型生成的向量表达输入深度学习分类算法，进行情感分类。BERT模型做情感分析下游任务流程见 图4 。

本文在对秦皇岛餐饮评论进行情感分析时没有选择原始BERT模型，而是采用哈尔滨工业大学与讯飞语言认知计算联合实验室发布的中文预训练语言模型BERT-wwm-ext作为本模型的预训练模型。该模型进一步增强了模型对上下文的理解能力和语义信息的学习能力。更能适应中文文本，能够为游客餐饮评论情感分析任务提取更准确的语义信息。

通过预训练语言模型将餐饮评论数据转化为数值型数据后，若想识别句子的情感倾向，还应将词向量化的结果输入深度学习分类模型做情感分析。近年来，深度学习模型因其高效的分析能力，逐渐在文本情感分析领域发挥较好效果。常见的深度学习情感分析模型有文本卷积神经网络(TextCNN)、门控循环单元网络(GRU)、长短期记忆网络(LSTM)、双向长短期记忆网络(BiLSTM)等模型算法。

TextCNN模型将CNN应用于自然语言处理领域。TextCNN利用不同大小的核来提取句子中的关键信息，能够更好地捕捉局部相关性。TextCNN对文本浅层特征的抽取能力很强，在短文本领域如搜索、对话领域效果很好。对长文本领域，TextCNN主要靠filter窗口抽取特征，对长句语序不敏感，在长距离建模方面能力受限。

LSTM基于传统的RNN模型。通过细胞记忆单元替代RNN隐藏层中的模块，同时使用输入门和输出门让信息选择式通过，还引入了遗忘门。LSTM由于其设计的特点，适合用于对时序数据的建模，如文本数据，该模型可以学习长期依赖信息。GRU是LSTM的一种简化版本。GRU比LSTM更简单，计算量更小，训练速度更快。但GRU在捕捉序列中的复杂依赖关系方面存在一定风险。

BiLSTM是对LSTM的改进。有效解决了LSTM无法学习反向特征的问题，Bi-LSTM模型由前向的LSTM和后向的LSTM组合而成，能够很好地处理双向数据的序列信息，更适合应用于长文本的分类任务。因此，本文采用BiLSTM模型进行情感分类。并将TextCNN模型和GRU作为对比模型。

本文在对秦皇岛游客餐饮评论信息做情感分析时，选择BERT-wwm-ext-BiLSTM情感分析模型。首先，对收集到的数据进行预处理操作；其次，预处理后的数据通过BERT-wwm-ext模型将游客餐饮评论信息转化为数字矩阵，通过语言掩码模型和下句预测两种方式对数据进行训练，结合交叉熵损失函数对模型进行优化，获取餐饮评论信息的特征表示；当词嵌入完成后，将获得的特征表示输入BiLSTM层；最后，为模型的情感判别层，经过BiLSTM情感提取后的文本特征向量先输入到全连接层预测其分类标签，然后输入到softmax分类器获取句子的情感概率分布。模型设计框架见 图5 。

本实验使用的编程语言是Python3.8，采用pytorch框架搭建神经网络。通过官方发布的预训练权重对BERT进行调用。实验使用的处理器是CPU。

预处理后的数据输入预训练模型BERT-wwm-ext-Base-uncased，该模型采用12层Transformer编码器结构，隐层单元数为默认值768，Multi-Head-Attention的参数为12。词嵌入结果输入BiLSTM层。输入特征和隐藏状态的大小均设置为768，将bidirectional设置为TURE，即设置为双向长短时记忆网络。其他参数均为默认值不做修改。

模型训练方面，模型所处理文本的最大长度设置成100个字符，设置batch size大小为16，epoch为10，优化器选用ASGD优化器，学习率设为0.0001，训练集与测试集的比例设置为8：2，为了防止过拟合将dropout设置为0.5。损失函数选择交叉熵损失函数，对模型进行优化。

为了验证BERT-wwm-ext预训练语言模型的表征能力，选择word2vec模型对预处理后的餐饮评论信息做向量化处理，Word2Vec模型是基于神经网络的方法，通过学习将词汇映射到一个低维度的向量空间，通过不断地学习与更新，优化词向量结果，该模型结构简单且效果较好。将词向量结果分别输入TextCNN、GRU、以及BiLSTM神经网络模型做情感分析。TextCNN模型通过卷积层和池化层对局部特征进行提取和压缩，可以很好地捕捉游客餐饮评论的局部信息。GRU模型是为了解决长期记忆和反向传播中的梯度等问题而提出来的，被广泛应用于情感分析领域。激活函数选择relu激活函数，模型初始化定义Adam优化方法。参数设置见 表3 ，与本文的模型设置基本一致。

Word2vec-TextCNN模型、Word2vec-GRU模型以及Word2vec-BiLSTM模型随迭代次数增加准确率变化曲线见 图6 。

Word2vec-TextCNN模型选择word2vec词向量结果通过TextCNN模型的卷积层、池化层、融合层和全连接层提取情感特征做情感分析。经过十轮迭代，模型准确率可达88.87%。

Word2vec-GRU模型同样选择word2vec预训练语言模型，将word2vec输出的词向量结果传入GRU模型进行情感特征提取。迭代十次后，模型准确率可以达到89.56%。

Word2vec-BiLSTM模型也选择word2vec预训练语言模型将文本信息进行向量化处理，将向量化结果通过BiLSTM模型提取情感特征进行情感分析，双向LSTM模型提取更多上下文信息。迭代十次后，模型准确率可以达到89.96%。

由于BERT预训练模型可以通过直接计算预测分类标签和真实分类标签的交叉熵，将其作为优化目标，在任务数据上进行微调直接做单句二分类任务。因此选用BERT-wwm-ext模型直接做情感分析预测作为对比模型。随迭代次数增加，该模型准确率、F1值和损失见 表4 。

本文构建的BERT-wwm-ext-BiLSTM模型，既选取了融合词向量权重信息的BERT-wwm-ext模型，又发挥双向长短期记忆网络兼顾上下文的特点，随迭代次数增加，该模型准确率、F1值和损失见 表5 。

综上，各模型准确率对比见 图7 。

BERT-wwm-ext-BiLSTM模型分类准确率可达到96.89%，比同维度下的BERT-wwm-ext模型准确率提高了5.06%。表明多模型组合提取比单模型特征提取效果更好。比Word2vec-TextCNN、Word2vec-BiLSTM、Word2vec-GRU模型准确率分别提高了8.02%、7.33%、6.93%，表明把BERT-wwm-ext模型作为预训练语言模型要比word2vec预训练语言模型效果更好，这是因为BERT-wwm-ext模型融合了多头注意力、位置编码、掩码等信息，其生成的词向量能更好的表征文本信息。

训练结果表明，本文所研究的秦皇岛餐饮评论数据，可以采用BERT-wwm-ext-BiLSTM模型进行情感分类，模型效果优于其他对比模型。