首先利用姿态估计算法从视频帧中获取列车司机的骨架数据，所得骨架关节点数据通常是以每帧中每个人体关节点的二维坐标来表示，通过将这些关节点连接起来形成单帧的人体骨架数据 [11] ，可视化后如 图2 中骨架时空图的第一帧所示。骨架时空图第一帧中1~17各关节点依次为鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝。

首先构建一个具有N个节点和T帧的无向时空图 $G=\left(V,E\right)$，其中，V表示骨架时空图中所有关节点集合，E表示骨架时空图中所有骨架边集合。关节点集 $V=\left\{v_{ti}|t=1,\cdots ,T,i=1,\cdots ,N\right\}$，其中 $v_{ti}$表示第 $t$帧上第 $i$个关节点。边集E是由两个子集构成，第一个子集 $E_S$描述帧内相邻节点的骨架边连接，表示为 $E_S=\left\{v_{ti}{v}_{tj}|\left(i,j\right)\in H\right\}$，其中 $v_{tj}$表示 $t$帧上第 $j$个关节点；第二个子集描述帧间对应关节点的骨架边连接，表示为 $E_F=\left\{v_{ti}{v}_{\left(t+1\right)i}\right\}$，其中 $v_{\left(t+1\right)i}$表示第 $t+1$帧上第 $i$个关节点。所以在构建骨架时空图过程中，不仅要连接帧内相邻关节点，还要连接相邻帧之间的对应关节点，以形成包含空间和时间信息的骨架时空图，如 图2 中骨架时空图所示。

传统异常行为检测方法通常采用固定权重方式进行关节点特征提取，难以充分挖掘不同节点之间的空间信息 [11] 。同时，实际复杂环境中存在多样的光照、遮挡等噪声，对骨架数据的准确性造成干扰 [22] 。为解决上述问题，引入了GAT模块，通过动态关注机制使模型能够在不同关节点之间的关系上实现动态聚焦。GAT模块通过学习动态关注权重，提升模型适应不同节点之间空间关系的灵活性，从而更准确地捕捉骨架数据的运动状态和姿势。GAT模块在空间信息提取方面具有显著优势，相较于固定权重的关节点特征提取，其动态关注机制使模型更灵活地适应不同节点之间的空间关系，有助于更准确地理解骨架数据的运动特征。此外，GAT模块在处理骨架时空图数据时表现出一定的鲁棒性，通过动态调整对局部信息的关注度，有效减轻光照、遮挡等噪声对模型训练的不利影响。这为模型在复杂环境中更为可靠地执行异常行为检测任务提供了重要支持。GAT模块的结构如 图3 所示。

GAT模块构建过程如下：

首先设置给定节点为 $v_{ti}$， $v_{tj}$是节点 $v_{ti}$的邻居节点， $h=\left\{h_1,h_2,\cdots ,h_N\right\}$表示输入的一组节点特征， $h^{\prime }=\left\{h_1{}^{\prime },h_2{}^{\prime },\cdots ,h_N{}^{\prime }\right\}$表示输出一组新的节点特征。

1) 对节点 $v_{ti}$，逐个计算它的邻居节点 $v_{tj}$和它自己的相似系数 $e_{i,j}$为：

$e_{i,j}=a\left(\left[W{h}_i\Vert W{h}_j\right]\right)$(1)

式中： $a$是一个通过单层前馈神经网络实现的映射函数； $\left[W{h}_i\Vert W{h}_j\right]$表示对节点 $v_{ti}$和邻居节点 $v_{tj}$的特征进行拼接； $W$是一个可学习的参数矩阵。

2) 为了使系数在不同节点之间进行比较，使用Softmax函数对注意力系数进行归一化，得到注意力系数 $a_{i,j}$为

${\alpha }_{i,j}=\mathrm{softmax}\left(e_{i,j}\right)$(2)

3) 根据计算得到的注意力系数 $a_{i,j}$，对邻居节点的特征按照注意力系数进行加权求和，得到节点 $v_{ti}$的新特征表示 $h_i{}^{\prime }$为：

$h_i{}^{\prime }=\mathrm{ReLU}\left({\displaystyle \sum {}_{j\in p_{tj}}{\alpha }_{i,j}W{h}_j}\right)$(3)

4) 为了增强模型表达能力，引入多头注意力机制，对于每个节点 $v_{ti}$，计算多个注意力头结果，最后将它们拼接起来得到最终的特征表示 $h_i{}^{\prime }\left(K\right)$为：

$h_i{}^{\prime }\left(K\right)=\underset{k=1}{\overset{K}{\parallel }}\mathrm{ReLU}\left({\displaystyle \sum {}_{j\in p_{tj}}{\alpha }_{ij}^k{W}^k{h}_j}\right)$(4)

式中： $k$表示注意力头的数量； $W^k$是第 $k$个注意力头的参数矩阵。

目前，单一时间尺度的TCN模块的感受野大小是通过单一卷积核的大小和层数来确定的，导致感受野不灵活 [10] ，难以适应不同时间尺度下的行为检测。为了解决这个问题，引入MS-TCN模块，该模块通过使用两个具有不同卷积核大小的TCN模块来处理输入序列，有助于模型更全面地捕捉不同尺度下的时序特征，从而更好地理解行为的动态变化。由于两个TCN模块可能导致冗余问题，引入了残差结构以减少冗余并缓解梯度消失问题。

MS-TCN模块结构如 图4 所示。其中 $k$表示卷积核大小， $d$表示膨胀底数。

假设该模块的输入序列为 $x_1,x_2,\cdots ,x_T$，其中T是序列长度， $x_t$是时刻 $t$的输入向量。使用残差结构，将输入 $x_t$通过残差时空卷积层，得到输出 $y_t$。残差时空卷积层的计算可表示为：

$y_t=x_t+F\left(x_{t-k+1:t}\right)$(5)

式中 $k$是卷积核的大小， $F$表示卷积操作及激活函数。

上述的残差结构通过 $x_t$和 $F\left(x_{t-h+1:t}\right)$的加法操作，实现了在保留原始输入信息的同时引入更多的非线性特征。这种结构在深层网络中有助于减少特征冗余和缓解梯度消失问题，从而提升模型训练效果。这种上述设计使得MS-TCN能够更全面地理解行为的动态变化，提升了模型对时序信息的表达能力。

ST-GCN网络模型采用Huber损失函数，存在训练过程对异常不敏感和收敛速度慢问题。Huber损失函数是根据预测值和真实值之间的差异，选择平方误差还是线性误差，能够更好地平衡对离群值和普通值的拟合，更适合回归任务 [26] 。由于列车司机异常行为检测是分类任务，模型的输出是类别的概率分布，Huber损失函数缺乏对概率分布的解释，并且其梯度相对平滑，导致训练速度较慢 [27] 。根据模型的任务类型和模型输出的概率分布，使用交叉熵损失函数更符合分类任务的需求 [28] 。另外，由于异常行为标签是以一种类别的形式表示 [29] ，交叉熵损失函数的梯度信息更为尖锐，在反向传播时有更好的梯度传播，能够更快地收敛和更稳定的训练。本文模型交叉熵损失函数表示如下：

$Loss=-{\displaystyle {\sum }_{i}p\left(i\right)\log \left(q\left(i\right)\right)}$(6)

式中i表示类别的索引， $p\left(i\right)$是实际类别i的样本的真实概率(通常为0或1)， $q\left(i\right)$是模型预测类别为i的样本的概率。整个损失函数的目标是最小化实际概率分布和模型预测概率分布之间的交叉熵，从而使模型更好地适应多分类任务。

实验平台采用的显卡为NVIDIA GeForce RTX 3060，处理器为i7-9700k，内存16GB，使用GPU加速。

由于目前没有公开的列车司机异常行为检测数据集，本实验采用自采数据集，在列车司机模拟试验平台上利用正前方摄像头采集了5500个视频片段，涵盖5种异常行为，每个异常行为至少有1000个视频片段，每个片段持续约5 s。本实验标记的异常行为包括接打电话、玩手机、喝水、与人交谈、吸烟等。在自采数据集标注方面，人工标注是解决该问题的主要方式之一。本实验使用可视化的图像标注工具Labelimg，通过可视化操作对自采数据集中司机异常动作进行标注，每隔10帧随机抽取一帧关键帧，共计标记20,000张视频帧图像，并通过姿态估计模型HRNet-W32获取骨架数据。本文模型的训练，将标注好的自采数据集的70%作为训练集，30%作为测试集。

为了有效地评估模型的训练效果，对训练模型的准确率和损失函数迭代曲线图进行了细致分析。首先，通过 图5(a) 的准确率迭代曲线观察，在迭代次数达到70,000次后，准确率达到了峰值0.982，这一结果表明模型在经过足够训练后能够有效地捕捉和学习输入数据的特征。其次，通过 图5(b) 中的损失函数迭代曲线分析，损失函数的趋势表明模型在训练过程中逐渐减小预测误差，通过反复迭代逐步学习数据的特征。

为了客观评价本文模型的性能，采用准确率与FLOPs进行对比实验分析。实验对比结果如 表1 所示。

由 表1 可见，文献 [16] 的FLOPS和准确率相对较低，主要因为其方法直接将原始关节点坐标输入CNN进行标签预测。这种处理方式在捕捉时空信息方面效率较低，无法有效捕捉骨架序列中的复杂时空关系，导致准确率相对较低。另外，文献 [19] 的方法虽然在FLOPS上略高，但由于未对骨架序列进行充分处理和相应的建模，因此在处理复杂时空关系时也存在一定局限不足。相比之下，ST-GCN模型引入了骨架时空图和图卷积、时域卷积模块，相较于文献 [16] 和文献 [19] ，能够更全面地捕捉骨架序列的时空信息。因此，ST-GCN在FLOPS和准确率上都取得了显著提升，凸显了骨架时空图建模和时空卷积对于提高检测性能的积极影响。而本文方法准确率和FLOPS均高于其他3种方法，这是因为采用图注意力机制能更好地提取骨架数据的空间信息，同时利用不同卷积核大小的TCN去增强模型对不同时间尺度语义信息的融合，提高了模型的准确率。为了进一步提高模型的处理速度，本文还引用了交叉熵损失函数，在保持高准确率的同时，提高了模型的FLOPS。

为直观反映出本文方法采用GAT模块、MS-TCN模块以及优化损失函数等改进点对异常行为检测模型性能提升的作用，采用消融实验进行验证，通过在基准模型上进行训练以及测试，采用准确率作为评价指标，验证其有效性。所有消融实验均采用相同的实验环境，并以相同的数据集进行训练与测试。消融实验如 表2 所示。

消融实验表明，在ST-GCN基础上引入GAT模块后，通过图注意力卷积增强了各关节点之间空间信息的提取能力，将网络模型的准确率由89.60%提升到94.65%；再引入MS-TCN模块，扩大模型的感受野，提高了不同时间下特征信息的捕捉能力，模型的准确率由94.65%提升到96.91%；在训练过程中选择更适合分类任务的交叉熵损失函数进行优化，最终将模型的准确提升到98.27%。本文方法相比于原ST-GCN网络模型平均准确率提升了8.8%。