YOLOv7是YOLO系列中最先进的新型目标检测器 [10] 。它是在目标检测领域测测速度非常快、非常准确的实时目标检测器，YOLOv7通过引入多项架构改革提高了速度和准确性。与Scaled YOLOv4类似，YOLOv7主干不使用ImageNet预训练的主干。相反，模型完全使用COCO数据集进行训练 。YOLOv7相较于之前的版本改进点主要是有引入扩展高效层聚合网络(E-ELAN)、进行了基于串联模型的模型缩放、加入了可训练的BoF以及计划重新参数化卷积等结果表明，模型获得了56.8%的平均精度，所有YOLOv7模型在5 FPS到160 FPS范围内的速度和精度都超过了之前的目标检测器。YOLOv7最大的贡献是再一次平衡好了参数量、计算量和性能之间的矛盾，主干网络backbone最开始的部分是stem层，通过三层3x3的卷积核输出一个二倍降采样的特征图，YOLOv7再用一层步长为2的卷积得到4倍降采样图，然后接了ELAN模块处理这个4倍降采样特征图，随后YOLOv7算法再对该4倍降采样的特征图再进行降采样操作，不过，不同于之前的步长为2的卷积，YOLOv7这里稍微设计得精细了一些，左分支主要采用maxpooling (MP)来实现空间降采样，并紧跟一个1 × 1卷积压缩通道；右边先用1 × 1卷积压缩通道，然后再用步长为2的3 × 3卷积完成降采样，最后，将两个分支的结果合并，随后，ELAN模块再对被降采样的特征图进行处理。然后重复堆叠这两块，直到最后的YOLOv7的backbone构建完成。

卷积神经网络(Convolutional Neural Networks, CNNs)是深度学习领域中一种具有革命性意义的网络结构，它在图像识别、视频分析和自然语言处理等多个领域均取得了卓越的成就 [11] 。CNN的核心思想是利用卷积层自动从输入数据中学习空间层次结构的特征，这一机制使得CNN在处理具有网格结构的数据(如图像)时表现出独特的优势。

卷积层是CNN的核心组件，它通过卷积运算提取输入数据的局部特征。在数学上，卷积可以定义为两个函数(卷积核和输入信号)的积分或求和。在CNN中，卷积核是一个小的权重矩阵，它在输入数据(如图像)上滑动，计算核与输入数据局部区域的点积，从而生成特征图(feature map)。这个过程可以表示为：

$\left(f\ast g\right)\left(t\right)={\displaystyle {\int }_{-\infty }^{\infty }f\left(\tau \right)g\left(t-\tau \right)\text{d}\tau }$(2.1)

其中，f是输入信号，g是卷积核， $\ast$表示卷积运算，t是卷积核滑动的位置。卷积操作的优势在于它能够捕捉输入数据的空间相关性，同时通过共享卷积核的权重实现参数共享，这大大减少了模型的复杂度。此外，卷积层通常伴随着非线性激活函数(如ReLU)，以增强模型的表达能力。

池化层(Pooling Layer)是CNN中的另一个关键组件，它负责降低特征图的空间维度，从而减少计算量和防止过拟合。最常见的池化操作是最大池化(Max Pooling)和平均池化(Average Pooling)。池化层通过在特征图上滑动一个固定大小的窗口，并提取窗口内的最大值或平均值作为输出，实现下采样。这一过程不仅减少了数据的空间尺寸，还保留了重要的特征信息。CNN通常由多个卷积层和池化层交替堆叠而成，形成深度网络结构。在网络的深层，低级特征(如边缘和纹理)逐渐被组合成更高级的语义特征(如物体的部分和整体结构)。这种层次化的特征表示不仅符合人类视觉系统的工作原理，而且能够有效地处理图像中的平移、旋转和缩放变化。

在CNN的末端，全连接层(Fully Connected Layer)将前面层次结构中提取的特征映射到最终的输出，如分类标签。全连接层的每个神经元与前一层的所有激活值相连，通过学习权重和偏置，实现从特征空间到输出空间的映射。在多分类问题中，通常在全连接层后接一个softmax层，它将网络输出转换为概率分布，从而进行类别预测。CNN的训练涉及前向传播和反向传播两个过程。在前向传播中，输入数据通过网络，生成输出；在反向传播中，根据输出与真实标签的差异计算损失函数的梯度，并通过网络传播回权重，更新网络参数。梯度下降及其变体(如SGD、Adam等)是最常用的优化算法，用于最小化损失函数，训练过程中还常常结合正则化技术(如L1、L2正则化和Dropout)来提高模型的泛化能力 [12] 。CNN的标准结构虽然强大，但研究人员一直在探索新的变体来提高性能和适应性。例如，残差网络(ResNet)通过引入残差连接来解决深度网络训练的困难，使得网络能够学习到更深层次的特征 [13] 。此外，Inception网络通过多尺度的卷积核来捕捉不同尺度的特征，提高了模型对图像的理解能力。这些变体不仅在图像分类任务中取得了突破，也为其他视觉任务，如目标检测和语义分割，提供了新的思路。

注意力机制(Attention Mechanism)是一种模拟人类视觉注意力的计算模型，它允许深度学习网络在处理信息时对输入数据的某些部分进行聚焦。在卷积神经网络中，注意力机制通过引入额外的加权层来实现，这些层能够学习输入特征图中各个区域的重要性，并据此分配处理资源。

注意力机制的基本原理是通过对输入特征图F中的每个区域进行加权求和，生成一个加权特征表示 $F^{\prime }$：

$F^{\prime }={\displaystyle \underset{i=1}{\overset{N}{\sum }}{w}_i\cdot F_i}$(2.2)

其中，N是特征图中区域的数量， $w_i$是第i个区域的注意力权重，通常由模型学习得到。注意力权重 $w_i$的计算通常依赖于输入特征 $F_i$和一个可学习的权重向量 $v$之间的相似度评分，计算如下：

$w_i=\frac{\exp \left(v^{\top }\cdot s\left(F_i\right)\right)}{{\displaystyle {\sum }_{j=1}^N\exp \left(v^{\top }\cdot s\left(F_j\right)\right)}}$(2.3)

这里， $s(\cdot )$是一个用于提取特征表示的函数，可以是一个全连接层或者特定的特征提取网络。权重向量 $v$通过训练过程学习得到，确保模型能够关注对当前任务最重要的特征。

注意力机制的应用显著提升了模型对关键信息的捕捉能力，尤其是在目标检测任务中，它能够帮助模型更好地识别和定位目标。此外，注意力机制还增强了模型对于上下文信息的利用，从而在复杂的视觉场景中提高了识别的准确性和鲁棒性。在YOLOv7中，注意力机制的集成可以通过Squeeze-and-Excitation (SE)模块实现，该模块通过显式地建模通道间的关系来提高特征的表达能力。SE模块的核心思想是利用全局平均池化(Global Average Pooling, GAP)来获取通道的统计信息，并通过两个全连接层(FC)来学习每个通道的重要性权重：

$z_c=\sigma \left(W_2\sigma \left(W_1\cdot \frac{1}{H\cdot W}{\displaystyle \underset{i=1}{\overset{H}{\sum }}{\displaystyle \underset{j=1}{\overset{W}{\sum }}{F}_c\left(i,j\right)}}\right)\right)$(2.4)

${F^{\prime }}_c=z_c\cdot F_c$(2.5)

这里， $F_c\left(i,j\right)$表示在通道c上的 $\left(i,j\right)$位置的特征值， $H\cdot W$是特征图的元素总数， $W_1$和 $W_2$是SE模块中的全连接层的权重矩阵， $\sigma$是激活函数。

通过这种方式，YOLOv7能够有效地提高对目标的检测精度，尤其是在复杂的工业场景中，注意力机制的引入显著提升了模型对异常行为的识别能力。

基于人类视觉系统的研究，注意力机制旨在从大量数据中筛选出对特定任务最为关键的信息。本研究针对香烟识别任务引入了注意力机制，优先处理与香烟相关的特征，从而使模型集中分析与识别香烟有关的关键区域。研究表明，将注意力机制纳入模型设计中可以有效提高其性能。而这种机制的整合位置相对灵活，关键在于能否促进模型效能的提升。本文特别采用了Squeeze-and-Excitation Networks的架构于模型的通道层级中，并将其嵌入到YOLOv7网络架构之中，获得了显著的实验成果。SENet通过引入一种革新的特征重调方法，实现了对特征通道权重的自动学习与分配，以此强调对检测任务有益的特征并抑制那些较为无关的特征。通过这种方式，SENet增强了卷积神经网络(CNN)内部通道之间的相互联系，通过自适应学习分配权重，有效地提升了模型对关键特征的关注度并降低了不相关特征的干扰。SENet包含两个关键模块：Squeeze模块和Excitation模块，如 图2 所示。在Squeeze模块中，它通过使用全局平均池化(global average pooling)将每个通道的特征图转换为一个单独的数字，然后将该数字输入到一个小型的全连接神经网络(FCN)中。这个FCN可以学习通道之间的关系，并为每个通道分配一个权重。在Excitation模块中，每个通道的特征图都被乘以相应的权重，从而增强有用的通道，抑制无用的通道。

在SD-YOLOv7模型中将SENet注意力机制加入MP-C3模块之后，如 图3 所示，处理后的特征图被输入到下一层网络中。通过SENet注意力机制，可以增强本模型对香烟、手机、安全帽重要特征的关注度，从而提高网络的表现能力。YOLOv7算法能够更加准确地识别出工厂阀室内的异常行为，从而有效提高工厂设备和员工的安全性。

设输入的特征图为 $X\in R^{H\times W\times C}$，经过全局平均池化得到全局描述向量 $z\in R^C$。然后，将全局描述向量z分别输入到两个全连接层中，得到它们的输出s和t：

$s=f_1\left(z;W_1\right),t=f_2\left(z;W_2\right)$(3.1)

其中， $W_1$和 $W_2$是全连接层的权重参数， $f_1(\cdot )$和 $f_2(\cdot )$是激活函数。然后，将通过 Sigmoid函数得到权重系数 $s^{\prime }\in R^C$，即 $s^{\prime }=\sigma \left(s\right)$。接着，将t经过ReLU函数激活，得到激活输出 $t^{\prime }\in R^C$，即 $t^{\prime }=relu\left(t\right)$。最后，将 $s^{\prime }$和 $t^{\prime }$相乘，得到最终权重 $z^{\prime }\in R^C$，即 $z^{\prime }=s^{\prime }\odot t^{\prime }$。其中， $\odot$表示逐元素相乘。最终，将原始特征图X和得到的权重 $z^{\prime }$相乘得到加权特征图 $Y\in R^{H\times W\times C}$，即 $Y_{i,j,c}=X_{i,j,c}\times {z^{\prime }}_c$，引入SENet模块后的SD-YOLOv7局部模型图如 图3 所示。

在深度学习的卷积神经网络中，传统的卷积层通常具有固定的卷积核，这意味着它们以固定的方式从输入数据中提取特征。然而，这种方法在处理具有复杂几何变换的数据时可能不够灵活。为了解决这一问题，在模型中引入了可变形卷积(Deformable Convolution)。

可变形卷积是一种增强版的卷积运算，它通过添加额外的偏移量来允许卷积核适应输入特征的空间变化，从而提供了更好的几何适应性。这些偏移量是可学习的参数，使得卷积核能够自由地变形以更好地对齐和捕捉到目标物体的关键特征，尤其是当物体出现旋转、缩放或其他非刚性变换时 [14] 。

在SD-YOLOv7模型中，加入了可变形卷积DCNv4的新的DCBS模块替换原模型的CBS模块，如 图4 所示，以增强模型对不易捕捉的目标，如手机、香烟、安全带、烟雾等的检测能力。这是因为这些目标可能会在图像中以各种姿态和角度出现，传统的卷积核可能难以捕捉到它们的全部特征。通过可变形卷积的应用，模型显示出了更高的灵活性和准确性。实验结果表明，加入可变形卷积后的SD-YOLOv7模型在复杂场景的目标检测任务上具有更强的鲁棒性，特别是在处理不规则形状和姿态变化的目标时。DCNv4通过两个关键增强解决了其前身DCNv3的局限性：去除空间聚合中的softmax归一化，增强空间聚合的动态性和表现力；优化内存访问以最小化冗余操作以提高速度 [15] 。与DCNv3相比，这些改进显著加快了收敛速度，并大幅提高了处理速度，其中DCNv4的转发速度是DCNv3的三倍以上。DCNv4在各种任务中表现出卓越的性能，包括图像分类、实例和语义分割，尤其是图像生成。因此，可变形卷积的引入显著提升了模型在工厂阀室安全监控场景中的表现，使其能够更准确地识别和定位潜在的安全风险。

YOLOv7采用了一种复合损失函数来训练模型，以优化检测性能。损失函数包括几个主要部分：坐标损失( $L_{loc}$)、对象置信度损失( $L_{obj}$)和类别损失( $L_{cls}$)。这种设计旨在同时优化模型对目标位置、存在性及其类别的预测能力。通过给这三种损失赋予不同的权重，从而得到总损失。

由于模型对劳保服装、香烟等不同大小的目标进行分散预测，因此为了平衡不同尺度特征之间的关系，防止某些特征单方面决定预测结果，从而使某些特征的预测结果失效。本模型将检测的目标根据大小划分为tiny、small、medium、large等级，并且将不同等级的损失函数划分为不同的权重，以经过实验，通过针对不同的特征设计了不同的权重并进行了实验，收敛性最好的FA Loss 如下：

$Loss={\lambda }_1{L}_{cls}+{\lambda }_2{L}_{obj}+{\lambda }_3{L}_{loc}$(3.2)

$L_{obj}=5.6L_{obj}^{tiny}+3.2L_{obj}^{small}+1.3L_{obj}^{medium}+0.5L_{obj}^{large}$(3.3)

本文采用的图像处理单元(GPU)为英伟达RTX 8000 GPU，并在rk3399ProD上测试，依赖pytorch1.7.0、python3.7，框架为SD-YOLOv7。本文共设计了6组实验，分别在自制数据集下测试SD-YOLOv7与其他主流模型对目标检测性能结果，来综合判断本文提出的改进模型的性能。本文的实验流程图如 图5 所示。

本文数据集为自制的工厂阀室背景下的数据集，数据集共2万多张真实工厂阀室下的监控拍摄图片照片。将其按照训练集(验证集)和测试集按照4:1的比例进行划分。为了模型的实用性，数据集均来自天然气阀室的真实工作场景。在对异常行为进行分类时，放弃了使用单一目标分类或CNN自动特征提取方法，因为这些方法有时会提取出一些人类难以解读的行为特征。在对从业人员进行问卷调查后，将异常行为划分为不同的风险等级。调查包括60种危险行为，对象是150多名员工。本文对风险等级最高的8种异常行为以及三种安全行为进行数据标注形成了11类标签的USDA数据集。具体分类如下：未着劳保服装、着劳保服装(安全行为)、未戴安全帽、佩戴安全帽(安全行为)、着火、打电话、抽烟、烟雾、未系安全带、系安全带(安全行为)、爬墙。数据集示例如 图6 所示。

表1 展示了不同特征的标签计数。此外，本研究采用了Github上可用的开源标记工具，YOLO Mark，以对香烟目标进行数据标注。标注所用的参数格式为一个五元组(class, x, y, w, h)，其中class代表待检测目标的种类；(x, y)定位了标注框的中心点坐标；而w和h分别代表了标注框的宽度与高度。在进行标注之前，需要对x、y、w、h的数值进行归一化处理。

通常，模型训练是离线训练。因此，本文希望利用这一特点设计出更好的训练方法，在不增加推理成本的情况下获得更高的精度。数据增强通常用于物体检测。增强方法大致可分为两类 [16] ，一类是增加图像的数量，如Randomizataflip、RandomCrop；另一类是提高图像的鲁棒性 [17] ，如Normalize、CutMix、Mixup和Brig-htnessJust。

由于火灾和烟雾的图像较少，标签类型在数据集中表现出数据不平衡。以及对于低照度情况下，特征能见度较低，为了解决这些问题，对数据集使用了一些增强方法来增加火灾和烟雾图像的数量。同时，由于数据集取自监控视频，图像之间存在较大的相似性。因此，使用了Mosaic和CutMix来提高模型的鲁棒性，使用了高斯模糊来提高模型的泛化能力和抗噪声能力，如 图7 所示，以便于模型在实际应用场景中能够准确识别工业现场的危险行为。接下来介绍本工作中采用的数据增强方法。

CutMix：移除图像的一部分，并将另一幅图像中相同大小的部分添加到原始图像中。

Mosaic：通过数据增强将四幅随机图像拼接在一起。

高斯模糊：将图像进行模糊处理。

Random Horizonta Flip：随机水平翻转图像。

为了评估模型的性能，采用了平均精确率(mean average precision, mAP)和召回率(recall)两个指标。召回率计算的是模型正确识别的正例图片数量与实际正例图片总数之比，它的值反映了模型找到所有相关实例的能力。而mAP是评估排名任务的常用指标，它计算的是模型在每个查询上的平均精确率，考虑了排名和相关性，因此在检测多类别对象时特别有用。在实验中，mAP的高值表明模型在不同查询上保持了高精确率，而较高的召回率说明模型能够找到大多数真实正例。

$\text{Recall}=\frac{TP}{TP+FN}$(3.4)

$\text{mAP}=\frac{1}{Q}{\displaystyle {\sum }_{q=1}^Q\frac{1}{M_q}{\displaystyle {\sum }_{l=1}^{M_q}P\left(k\right)\times rel\left(k\right)}}$(3.5)

其中，TP是真正例的数量，FN是假负例的数量，Q表示查询数量， $M_q$表示第q个查询的相关样本的数量， $P\left(k\right)$表示截至第k个样本的准确率， $rel\left(k\right)$是一个指示函数，表示第k个样本是否与查询相关。

所有模型都在英伟达RTX 8000 GPU上训练，并在rk3399ProD上测试。在训练阶段，SD-YOLOv7很多权重与YOLOv7相同，可以加速收敛，从而节省大量训练时间。考虑到图像数量和收敛速度，进行了87轮训练，并使用了SGD优化器，模型训练如 图8 所示。初始学习率采用余弦退火算法，使学习率在循环中递减，实验参数设置遵循YOLOv7官方网站的初始化参数。

模型PR曲线如 图9 所示。PR曲线是训练结果通过将不同置信度下的P值R值连点成线所获，从图中可以看出类别“Hat”，“No_Belt”，“Climb_Wall”和“Belt”展示了非常高的精确率和召回率，这意味着模型在检测这些类别时几乎没有错过任何真正例(即这些类别的目标)，同时几乎没有错误地将其他类别的对象错误识别为这些类别。例如，“Hat”类别的精确率接近1，这表明几乎所有预测为“Hat”的结果确实是佩戴了安全帽。对于“Cloth”和“No_Cloth”类别，观察到它们的精确率和召回率也很高，但略低于“Hat”和“Belt”类别。这可能表明在检测衣物相关的对象时，模型会有少量的错误识别。对于“Phone”和“Smoke”类别的精确率和召回率较低，但仍然处于可接受范围。特别值得注意的是“Cigarette”类别，由于数据集来自于摄像头拍摄的真实环境下的摄像头，受限于摄像头拍摄清晰度和工厂阀室灯光亮度，其精确率显著低于其他类别，这表明模型在预测为“Cigarette”的结果中有大量的假正例(即被错误标记为香烟的非香烟对象)。“all classes”一项显示了所有类别的平均精确率(mAP)为0.923，表明在多数类别上模型的整体检测效果是非常好的。然而，“Cigarette”类别的低精确率影响了整体的mAP值，这让后续的研究和模型改进中需要特别关注该类别的识别。

为了验证本文所提模型的进展，选择了六种最主流的物体检测模型作为比较基准，包括Faster-RCNN、DETR、YOLO v5、YOLO v7、YOLO v8和YOLO v9，实验结果见 表2 。

通过 表2 可以看出召回率的提升：SD-YOLOv7模型在召回率上相较于其他模型实现了显著的提升。特别是与传统的YOLOv7模型相比，SD-YOLOv7的召回率提高了6.30%，表明其在检测过程中能够识别到更多的真实正样本，减少了漏检的情况。这一提升在工业安全监控中尤为重要，因为漏检可能导致安全隐患的忽视。

(1) 平均精度均值(mAP)的提升：在mAP方面，SD-YOLOv7相较于YOLOv7提升了接近5.82%，与YOLOv9相比也有2.30%的提高。mAP的提升反映了SD-YOLOv7在多类别检测任务中的综合性能得到了增强，这在复杂的工厂阀室环境中尤为关键。

(2) 性能对比：通过与YOLO家族的其他模型，包括最新型号YOLOv9的对比，SD-YOLOv7在召回率上仍显示出4.15%的提高，这进一步证明了SD-YOLOv7在实际应用中的有效性和可靠性。

(3) 模型改进点：SD-YOLOv7在YOLOv7的基础上，通过引入SENet注意力机制和可变形卷积DCNv4，显著提高了小目标如手机和香烟的检测性能。这些改进使得SD-YOLOv7在多角度和复杂背景下的检测更为准确和鲁棒。

(4) 数据集的贡献：自建的近两万张图像数据集，涵盖了11种不同的行为标签，为模型训练和评估提供了丰富的、现实环境下的样本。这些数据集的建立，不仅对本研究至关重要，也对工业安全领域的未来研究具有重要价值。

本研究针对工业安全监控领域中的关键问题——工厂阀室内的人体异常行为识别，提出了一种改进的YOLOv7算法，即SD-YOLOv7。通过集成Squeeze-and-Excitation Networks的注意力机制和可变形卷积DCNv4，本文提出的模型在复杂监控场景下展现出了卓越的目标检测能力 [18] 。实验结果表明，SD-YOLOv7在精准率、召回率和平均精确率mAP方面均优于传统的YOLOv7和YOLOv9模型。此外，模型已成功部署在边缘设备上，为合作单位提供了实时的检测服务，证明了其在实际应用中的有效性和可行性。

尽管SD-YOLOv7模型在工业安全监控领域取得了显著的成果，但仍存在一些局限性和改进空间 [19] 。首先，模型在处理极端光照条件和复杂背景时的检测性能仍有待提高。此外，对于某些特定类别的目标，如香烟和烟雾，模型的识别精度尚未达到理想水平，这可能与数据集中这些类别样本的多样性和数量有关。未来研究方向将集中在以下几个关键领域：数据增强和样本平衡 [20] 、模型鲁棒性 [21] 、小目标检测 [22] 、实时性能优化、模型压缩与蒸馏、多模态学习 [10] 、解释性和可信赖性以及跨场景泛化。通过上述研究方向的深入探索，期望能够进一步提升人体异常行为识别模型的性能，为工业安全监控领域带来更多创新和价值。