本文利用Liu-Life Log数据集进行日志分类预测的方法与应用。Liu-Life Log项目始于2011年，由我们的团队在过去12年中自主收集 [26] 。涵盖了26种不同的日常行为类别，如工作、休息、学习和体育活动等，体现了教学工作者在多样化环境中的行为模式。现在任何人都可以在我们的网站( http://www.lifelog.vip/ )上免费下载数据集和移动应用程序，并获得我们公开的生活日志数据来参与我们的项目。 表1 给出了部分数据集。此研究不仅为Life Logging数据的分类提供了新的视角，也为相关领域的研究者和实践者提供了实用的工具和方法。

为了给所提出的神经网络提供一定的数据维度，提高模型的精度，需要对生活日志系统采集的原始数据进行如下预处理。

在采集生活日志的过程中，由于系统故障或者用户提交原因，数据集中存在大量的空数据。此外，用户在使用它的时候不会坚持一个设定的时间来发布动态，而且它是不连续的。为了完成分类和预测任务，需要对来自Liu-Life Log的所有噪声数据进行清理。识别并处理数据集中的缺失空数据，采取删除策略删除特定格式和无意义的数据，去除重复数据、错误数据，保证数据的一致性和准确性。

考虑到用户隐私安全以及大多数用户并不愿意在生活日志中公布自己的位置信息。对Liu-Life Log数据集中提取分离出两种不同类型的数据集，分别是包含位置信息的DCP-Life Log和不包含位置信息的TS-Life Log。具体描述如 表2 所示，这两种数据集来源一个数据集，由不同的特征组成。并且我们发现，用户的行为活动与特定时间有一定关系。例如，我们针对生活日志数据集中大量数据分析出，用户在11:00~13:00上传的生活日志普遍是吃饭的日常，对应的用户活动行为是“在餐厅”。因此，在模型的构建中加入时间节点，有利于网络模型捕获基于时间节点的信息特征，强化模型预测用户行为活动能力。为保证实验的合理性，将两个数据集同样的各取9485条作为训练集，验证集和测试集各2000条。

通过将图片和视频通过技术转成文本数据，与原本的文本信息结合作为网络模型特征，可以为网络模型提供更多样化、更丰富的特征表达。利用Youcai Zhang等开发的预训练深度学习模型RAM [27] 对图片进行特征提取，该模型表现出卓越的图像标记能力和强大的零样本泛化能力；并且RAM自动识别6400+个常用标签，比Open Images V6涵盖更多有价值的类别。通过使用该技术将生活日志中的图片内容转化为文字标签 [28] 。Recognize -anything工作代码可在Git Hub中找到 [29] 。对于视频格式数据，通过对视频进行预处理，调整大小、剪裁、帧率控制，并通过贝叶斯决策方法与帧间差分法相结合，划分视频图像，对视频进行选帧，选出最具有代表的图片 [30] 。这里只对该技术进行应用。

词嵌入是将单词或子词转换为向量表示的过程。在自然语言处理中，单词或子词通常被表示为一个高维度的稀疏向量，其中每个维度对应一个单词或子词的特征。例如，在一个包含100个单词的词表中，每个单词可以表示为一个大小为100的稀疏向量，其中只有一个维度为1，其余维度都为0。这种高维度的稀疏表示不仅浪费存储空间，而且难以计算单词之间的相似度。因此，词嵌入技术被用来将单词或子词映射到一个低维度的稠密向量空间中，从而可以更有效地表示和计算单词之间的相似度。

生活日志通常是由一系列单词或子词组成的，而分词器的任务就是将这些单词或子词从文本中分离出来，并将它们转换为计算机可以处理的数字表示。Tokenizer分词算法是将文本转换为单词或子词序列的过程。基于Tokenizer可以将文本转换成独立的token列表，进而转换成输入的向量成为计算机可以理解的输入形式。在分类任务中分词器和词嵌入技术通常是联合使用的，以将文本转换为计算机可以处理的数字表示。使用分词器将文本分成单词序列，然后使用词嵌入技术将每个单词表示为一个向量，最后将这些向量输入到神经网络中进行分类。

卷积神经网络–双向长短期记忆网络模型(TS-CNN-Bi LSTM)是一种融合了卷积神经网络和双向长短期记忆网络的深度学习模型。如 图1 所示，在这个模型中，CNN负责提取高维数据的特征，如图像或者其他类型的数据，而Bi LSTM则专门用于处理时序特征，例如文本或者时间序列数据。这两个模型都具有强大的非线性拟合能力，能够自动地提取数据中的关键特征。通过将CNN和Bi LSTM进行融合，可以充分发挥深度学习模型在特征提取方面的优势。

卷积层：由于其学习文本、图像和语音等数据中独特表征的能力，CNN越来越受欢迎。CNN中最重要的单元是卷积层，它利用卷积核对输入进行卷积操作。这种操作可以理解为一种过滤器的工作，它能够捕捉输入数据中的局部特征。随后，经过非线性激活函数的激活，使得卷积层能够更好地学习数据的抽象特征表达。

$a_{i,j}=f\left({\displaystyle \underset{m=1}{\overset{M}{\sum }}{\displaystyle \underset{n=1}{\overset{N}{\sum }}{w}_{m,n}\cdot x_{i+m,j+n}+b}}\right)$(1)

其中 $a_{i,j}$为对应的激活， $w_{m,n}$为卷积核的 $m\times n$矩阵， $x_{i+m,j+n}$表示与神经元 $\left(i,j\right)$。b为偏置值，f为非线性函数。

在本文中，卷积层采用整流线性单元(Re LU)来计算特征映射，其非线性函数定义为

$\sigma \left(x\right)=\max \left(0,x\right)$(2)

池化层：卷积层输出的特征向量通常具有较高的维度，会给模型造成较大的运算压力。池化层主要负责对卷积层提取到的特征数据进行选择和过滤，可以降低卷积层获取的信息维度，这不仅可以缓解模型运算压力，而且可以防止模型出现过拟合现象。

常见的池化操作有三种，最大池化(Max Pooling)、最小池化(Minimum Pooling)和平均池化操作(Average Pooling)，本文模型采用了最大池化。最大池化的原理是在输入数据的每个子区域中选择最大的特征值作为输出。具体而言，最大池化将输入数据分割成不重叠的区域(通常是矩形区域)，然后在每个区域中选择最大的特征值。这样就可以减少数据的维度，保留最显著的特征。最大池化的公式可以表示为

$\text{max Pooling}\left(X_{i,j}\right)=\max \left(X_{i,j}\left[p,q\right]\right)$(3)

其中 $X_{i,j}$为输入数据的第i行、第j列的子区域， $X_{i,j}\left[p,q\right]$表示子区域中的第p行、第q列的元素。

在Bi LSTM模型中，输入序列被拆分为两个方向，即正向和反向，然后在每个方向上构建一个LSTM单元。这种结构允许模型同时考虑到上下文信息，从而提高了模型的性能。将CNN的输出特征拼接在一起，形成一个更长的特征向量，然后将其传递给Bi LSTM。Bi LSTM模型结构可以通过以下公式表示

$i_t=\sigma \left(W_{x_i}{x}_t+W_{h_i}{h}_{t-1}+b_i\right)$(4)

$f_t=\sigma \left(W_{x_f}{x}_t+W_{h_f}{h}_{t-1}+b_f\right)$(5)

$c_t=f\odot c_{t-1}\odot \tanh \left(W_{x_c}{x}_t+W_{h_c}{h}_{t-1}+b_c\right)$(6)

$o_t=\sigma \left(W_{x_o}{x}_t+W_{h_o}{h}_{t-1}+b_o\right)$(7)

$h_t=o_t\odot \tanh \left(c_t\right)$(8)

其中 $i_t$、 $f_t$、 $o_t$分别为输入门、遗忘门、输出门的输出。 $c_t$为细胞状态的更新， $h_t$为隐藏状态的更新。tanh和 $\sigma$为激活函数， $\odot$为逐个元素相乘运算。 $x_t$为当前时间步的输入， $h_{t-1}$为上一个时间步的隐藏状态。 $W_{x_i}$、 $W_{x_f}$、 $W_{x_c}$、 $W_{x_o}$和 $W_{h_i}$、 $W_{h_f}$、 $W_{h_c}$、 $W_{h_o}$分别为输入/输出和隐藏状态的权重矩阵。 $b_i$、 $b_f$、 $b_c$、 $b_o$为偏执项。

在TS-CNN-Bi LSTM模型中，输出层由一个全连接层和一个Soft Max分类器组成。全连通层的每个节点都与上层的节点相连，以便从上层提取的特征可以合并。在全连接层的后面是Soft Max分类器，它将上层的输出转换为概率向量，其值表示当前样本所属类的概率。在多分类任务中，使用交叉熵损失函数作为模型的损失函数。如果标签是独热编码形式，通常使用Categorical Crossentropy。本文中使用的分类标签为整数形式(非独热编码)，使用Sparse Categorical Crossentropy作为损失函数，计算公式如下

$H\left(y,\hat{y}\right)=-{\displaystyle {\sum }_i{y}_i\log \left(\hat{y}\right)}$(9)

其中，y是真实标签的整数形式， $\hat{y}$是模型的预测概率分布向量，i表示类别的索引。

TS-CNN-Bi LSTM模型首先使用了一个Embedding层，将输入的整数序列(每个整数代表一个词)映射成密集向量，其中输入维度为8000，输出维度为800，输入长度为80。接下来是一个Conv1D层，它包含了128个卷积核，每个卷积核的大小为2，激活函数为Re LU。该卷积层用于在序列数据上进行卷积操作。MaxPooling1D层对卷积层的输出进行下采样，池化窗口大小为4。Dropout层丢弃比率为0.1，用于在训练过程中随机丢弃部分神经元，以防止过拟合。双向LSTM层隐藏单元个数为20，它可以在两个方向上处理序列数据。最后一个Dropout层丢弃比率同样为0.1，用于防止过拟合。模型的最后一层是一个Dense层，输出类别数为训练集类别数量，激活函数为Soft Max，同时应用L2正则化器。这个全连接层用于输出模型的预测结果。学习率初始为1e − 3，优化方法选择使用Adam加快模型训练速度。具体参数如 表3 所示。

在实验中，我们使用Keras来构建提议的网络结构，Keras是一个用Python编写的高级神经网络API，能够在Tensor Flow、CNTK或Theano上运行。实验选择了Tensor Flow作为后端。模型的训练和分类都是在一台配置为64位Windows操作系统的PC上进行的，该PC拥有2.20 GHz的CPU Inter Core i7-8750H、64GB RAM和16GB内存的NVIDIA QUADRO P5000显卡。

模型的训练采用了全监督的方式，使用交叉熵损失函数来衡量预测值与真实值之间的误差。梯度从Soft Max层反向传播到LSTM层。每一层的权重和偏差都是通过随机选择的值进行初始化的。为优化模型选用Adam优化器作为优化算法。在模型训练过程中使用回调操作提高训练效率。1) 早停法是一种常用的防止过拟合的方法，它会在模型的性能不再提升时停止训练，从而避免了模型在训练集上的过度拟合。设置监视的指标为验证集上的损失值，当验证集损失值不再下降时，训练将被提前停止，并且在停止训练时恢复模型的最佳权重。2) 学习率调整可以自动地降低学习率，以便更好地适应数据的变化。训练过程设置了监视的指标为验证集上的准确率，当验证集准确率不再提升时，学习率将按照给定的因子进行衰减，以帮助模型更好地收敛。

在收集人类活动日志数据时，经常会遇到不平衡的情况，数据集中各个类别的样本数量差异较大，其中某些类别的样本数量远远多于其他类别。举例来说，假设我们收集了一份人类活动日志数据集，用于识别人类的运动行为，包括走路、跑步、骑车和驾驶等。在这个数据集中，可能会发现走路这一类别的样本数量远远大于其他类别，因为走路是人们日常生活中最常见的活动之一。这种情况导致数据集呈现不平衡的状态。如果分类器将每个实例都预测为多数类，并使用总体分类精度来评估模型性能，可能会得到较高的准确率。但是，它不能很好地反映出模型在少数类上的表现。

为了解决这个问题，可以使用F-measure (F1 score)，它同时考虑了假阳性和假阴性。F1 Score结合了两种测度，即“Precision”和“Recall”，它们都是基于正确识别样本总数来定义的。在信息检索领域，精确率指的是模型预测为正例的样本中有多少是真正的正例，而召回率指的是所有真实正例中有多少被模型正确地预测为正例。F1 Score综合考虑了这两个因素，因此是一种更全面、更平衡的性能度量指标。定义Precision和Recall为

$\text{Precision}=\frac{TP}{TP+FP}$(10)

$\text{Recall}=\frac{TP}{TP+FN}$(11)

其中TP、FP分别为真阳性和假阳性的数量，FN为假阴性的数量。F1 Score通过基于样本比例对类别进行加权来抵消类别中的不平衡。F1 Score公式如下

$\text{F}1=\frac{2\times \text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}$(12)

宏平均是对每个类别的性能指标进行平均，然后再求平均值。宏平均对每个类别的性能给予了相等的权重，不受样本数量不平衡的影响。在不平衡数据集中，使用宏平均可以更客观地评估模型对各个类别的性能表现。本文定义精确率的宏平均Macro-P、召回率的宏平均Macro-R以及F1 score的宏平均Macro-F1对模型进行评估

$\text{Macro-P}=\frac{1}{N}{\displaystyle \underset{i=1}{\overset{N}{\sum }}\text{Precision}}$(13)

$\text{Macro-R}=\frac{1}{N}{\displaystyle \underset{i=1}{\overset{N}{\sum }}\text{Recall}}$(14)

$\text{Macro-F}1=\frac{1}{N}{\displaystyle \underset{i=1}{\overset{N}{\sum }}\text{F1}}$(15)

其中N表示类别数，i表示第i个类别。

为验证多卷积核尺寸的选取对活动分类最终效果的影响，将模型中的相关参数按照 表3 中设置，通过改变卷积核大小，观察三种评价指标的变化趋势。实验中选取卷积核大小分别是1、2、3、4、5。每组卷积核数目均设为128。实验结果如 图2 所示。

使用不同尺寸卷积核的实验结果如 图2 所示，当卷积核大小为4时，分类效果明显优于其他数值，精确率、召回率和F1值分别达到了52.61%、53.67%和50.72%，分类效果最佳。其它4组数据，在准确率和F1值上效果均不理想。因此CNN卷积核的大小取为4。

在实验1中，保持CNN通道部分的参数不变，改变Bi LSTM隐藏单元个数，起始值选为10，调节幅度大小为10，实验中选取10、20、30、40、50这5个数值，根据实验结果从中选取出Bi LSTM最优的隐藏单元个数。 图3 中给出了使用不同隐藏单元个数时，模型分类效果在Precision、Recall和F1值上的对比情况。在隐藏单元个数达到30之前，随着隐层值的增加，该模型文本分类效果越来越好，当达到30时，分类效果达到最好峰值，隐藏单元个数设置大于30分类效果明显下降。从3个评估标准和模型计算量等方面综合考虑，在之后的实验中Bi LSTM的隐层值大小统一设置为30。

当涉及到用户行为分类时，以下是几种常用的分类方法介绍。本文将TS-CNN-Bi LSTM模型与以下方法在同一数据集上进行了对比，对比方法包括：

1) CNN (卷积神经网络)：CNN主要用于图像处理，可以用于处理时序数据，如时间序列或序列数据。它通过卷积操作在输入数据的不同区域上提取特征，并使用池化层对提取的特征进行下采样。

2) LSTM (长短期记忆网络)：LSTM是一种适用于序列数据的循环神经网络的变体，特别适用于处理长序列和捕捉序列中的长期依赖关系。它通过门控机制来控制信息的流动，包括遗忘门、输入门和输出门。LSTM在处理文本、语音等序列数据时表现出色。

3) CNN-LSTM：CNN-LSTM结合了卷积神经网络和长短期记忆网络的特点。通常情况下，CNN用于提取序列中的局部特征，然后将这些特征序列输入到LSTM中进行处理。这种结合可以有效地捕捉序列数据中的空间和时间信息，适用于例如视频分类等任务。

4) Bi LSTM (双向长短期记忆网络)：Bi LSTM是一种具有双向结构的LSTM网络，它能够同时从过去和未来的信息中学习特征表示。通过在输入序列的正向和反向上构建两个独立的LSTM层，Bi LSTM能够更好地捕捉到序列数据中的上下文信息，提高了模型对序列数据的理解能力。

分析 表4 中数据可知，我们发现在相同的DCP-Life Log或TS-Life Log数据集上，本文提出的TS-CNN-Bi LSTM模型的分类效果较其他模型更好。具体而言，CNN模型在两个数据集上的性能相对较为一致，Macro-F1分别为50.76%和49.72%，但并未达到理想水平。这可能是因为CNN模型在处理文本数据时难以捕捉到文本的长期依赖关系和上下文信息，导致性能不佳。而LSTM模型在DCP-Life Log数据集上的性能表现也较差，Macro-F1为46.56%，其低精确率(45.13%)和召回率(50.22%)反映了模型在分类过程中存在一定程度的偏差或遗漏。TS-CNN-Bi LSTM模型的表现也不尽如人意，Macro-F1为49.36%，这可能是由于两者结合的方式并未很好地利用彼此的优势。

相比之下，Bi LSTM模型表现出更好的平衡，其Macro-F1在DCP-Life Log数据集和TS-Life Log数据集分别为53.00%和49.46%，其能够利用双向上下文信息，更好地捕获文本特征。然而，TS-CNN-Bi LSTM模型在两个数据集上的表现最佳，其Macro-F1分别达到了54.00%和50.72%。这表明将CNN和Bi LSTM结合起来能够更好地利用文本的局部和全局信息，从而取得更好的分类效果。

在TS-Life Log数据集上，模型的性能普遍略低于DCP-Life Log数据集。这是由于TS-Life Log数据集中的文本特征信息较少，缺少位置信息导致模型在分类任务上面临更大的挑战。尽管TS-Life Log数据集缺少位置信息，但结合CNN和Bi LSTM的模型依然能够在这种情况下有效地提高分类性能。相比之下，单独使用CNN或LSTM的模型在处理具有位置信息的DCP-Life Log数据集时性能可能会受到影响，因为它们可能无法很好地利用位置信息。

综上所述，结合CNN和Bi LSTM的模型能够更好地适应不同类型的文本数据集，并取得较好的分类效果。在处理具有位置信息的DCP-Life Log数据集和缺少位置信息的TS-Life Log数据集时，TS-CNN-Bi LSTM模型表现出色。