改变当前被动式路网运行监测模式，提供一种基于路侧固定摄像机视频分析的主动式、智能化公路违法设摊事件检测方法。通过动态前景提取方法与基于深度学习的图像分割方法，自动分割视频图像中需要检测的道路区域，基于深度学习的图像目标检测方法实时提取出现在视频中的多种违法设摊相关目标，然后通过道路区域过滤与目标聚集性判别，识别呈现出违法设摊事件特性的目标子集，从而定位侵占公路路权的违法设摊事件，经过实际路网环境测试，检测准确率达到96.6%，漏检率低于6.0%。

视频分析，违法设摊，深度学习，图像分割，目标检测

Man Sun¹, Zhan Wang¹, Liang Du¹, Bin Xie², Xu Qiao²

¹Xuzhou Highway Development Center, Xuzhou Jiangsu

²China Design Group Co. Ltd., Nanjing Jiangsu

Received: Nov. 16^th, 2023; accepted: Mar. 13^th, 2024; published: Mar. 21^st, 2024

The current passive road network operation monitoring mode is changed to provide an active and intelligent road illegal stall event detection method based on the video analysis of roadside fixed cameras. Dynamic foreground extraction method and deep learning-based image segmentation method are used to automatically segment the road area that needs to be detected in the video image. The image object detection method based on deep learning is used to extract multiple illegal amortization related targets in the video in real time, and then the subset of targets showing the characteristics of illegal amortization events is identified through road area filtering and target clustering discrimination. Through the actual road network environment test, the detection accuracy rate reaches 96.6%, and the missed detection rate is less than 6.0%.

Keywords:Video Analysis, Illegal Stalls, Deep Learning, Image Segmentation, Object Detection

Copyright © 2024 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

公路违法设摊(也称作占道经营、违法摆摊设点)事件是国省公路干线上经常发生的一种侵占路产路权的交通违法事件，常常出现公路交叉路口、农作物出产地沿线，这类事件侵占道路区域，并伴随引起人群聚集，以及车辆违停，在影响路容路貌与道路环境，干扰路政管理秩序的同时，也极易造成道路拥堵和交通事故。及时发现和制止公路违法设摊事件对于提高国省干线公路通行能力、保障公路通行安全具有重要意义。

对于违法设摊事件的巡查整治是各级公路网管理部门的一项重要工作，目前对这类事件的视频巡查主要以是人工巡查为主，即：路网管理人员在公路监控中心对接入的公路监控视频画面进行人工轮巡，通过人眼观察的方式发现视频中发生的公路交通事件，或者派遣巡查车辆上路进行巡查，现场查检沿途的违法设摊事件，存在漏检风险高、实时性不足等问题。国内外已出现利用视频分析手段自动检测违法设摊的相关成果。郑全新等提出一种通过计算视频帧之间图像目标运动一致性大小来判断图像是否有占道经营的方法，但是无法自动识别需要检测的区域，并且在车流、人流较大的国省干线，由于非占道经营目标也会出现无序的运动特征，从而将导致该方法无法正确进行事件判别 [ 1 ] 。王秀亮等提出一种利用视频进行占道经营的检测方法，但是该方法需要检测墙体基线，并需要预先设定检测区域 [ 2 ] [ 3 ] 。林韶军等提出一种利用城市监控进行城市违章识别的框架构想，该方法的构想与当前主流的基于样本学习的深度学习目标检测方法本质上并无差异，但是这一方法可用的前提是能够搜集到足够数量的待检测事件样本 [ 4 ] 。贠周会等提出一种通过VIBE方法进行背景建模，然后通过运动目标提取进行判别的摆摊设点检测方法，这一方法只关注图像中目标的运动区域的面积信息，在运动目标数量较大的国省公路干线场景下将难以实用 [ 5 ] 。

由于国省干线违法设摊事件随机性强、类型多样，难以搜集足够数量的样本直接训练深度学习模型。因此，现有的违法设摊(或占道经营、违法摆摊设点)事件检测技术还无法通过对国省干线公路监控视频的分析处理，自动检测识别出侵占公路区域的违法设摊事件。因此，本文针对国省干线视频图像及违法设摊业务场景特点，结合深度学习目标检测、图像分割以及传统图像处理方法组合设计检测逻辑，改变已有方法需要手动标定识别区域、依靠大量样本训练的制约条件，提供自适应能力强、自动化水平高的侵占公路路权的违法设摊事件智能检测方法。

本文提供一种公路违法设摊事件自动化视频巡查方法，由利用深度学习直接识别违法设摊事件存在样本量不足问题，转化为结合基于背景建模前景提取、深度学习的车辆、行人、非机动车、太阳伞等常规目标检测，使用深度学习分割道路路面并判断以上目标与公路路面、建筑控制区的相关关系，然后通过道路区域过滤与目标聚集性判别，识别呈现出违法设摊事件特性的目标子集，从而定位侵占公路路权的违法设摊事件，设计算法检测流程如图1所示：

图1. 算法流程

步骤1. 接入公路网监控视频，对视频流进行解码，按帧读取视频图像，并根据处理硬件资源条件，对对视频图像进行预处理，主要包括：缩减视频图像尺寸、遮蔽图像中待固定字幕的区域，并且，本步骤通过循环的方式不断为后续处理提供完成预处理的视频图像帧数据；

步骤2. 读取步骤1输出的视频图像帧，利用动目标提取方法(或运动前景提取方法)，检测图像中是否有运动目标，如果有运动目标，则提取运动目标的轮廓，并计算所有运动目标轮廓的总面积，当运动目标的总面积超过一定门限(该门限依据图幅大小进行设定)，则重复步骤1到步骤2，直到图像帧中的运动目标总面积低于预设门限，则认为当的这一帧图像包含的运动目标区域较小，利用这一帧图像进行分割提取可以获得比较完整的路面区域。

步骤3. 利用基于深度学习的图像语义分割方法，对步骤2输出的图像进行语义分割，从分割的结果中提取当前摄像头观测的道路区域，并将道路区域缓存用于后续处理。在对某一路公路视频源进行处理时，步骤2与步骤3只执行1次，即，不对道路路面区域进行重复提取。

步骤4. 完成步骤3之后，利用基于深度学习的图像检测算法，对步骤1输出的每一帧视频图像进行目标识别，提取图像中的与违法设摊事件相关性较高的目标，例如：人、车辆、非机动车、遮阳伞。缓存目标信息数据，包括：类别、置信率、目标的边界矩形坐标。

步骤5. 利用步骤3中提取的道路区域对步骤4提取的目标进行过滤，仅保留出现在路面区域以内，或距离路面区域较近的目标；

步骤6. 考虑到组成违法设摊的目标(例如：人、车、非机动车、伞)会在图像中的固定位置持续出现，因此，重复步骤1、步骤4、步骤5，记录步骤5输出的每一个目标在图像中相同位置出现的次数，输出在固定位置重复出现次数超过预设门限(该门限根据经验设定)的目标集合。

步骤7. 利用步骤6输出的目标集合，通过计算目标之间的欧式距离，对目标的聚集性进行鉴别，即：搜索外接矩形相交或相距较近的目标集合的子集，并计算包含该子集的最小外接矩形。

步骤8. 考虑到在不同的应用场景下，违法设摊事件通常会包含特定类别的目标，例如：通常情况下类别为人的目标会出现在很多的违法设摊事件中，因此，在本步骤对对步骤7输出目标子集中的目标类别进行判别，输出应用场景下包含特定类别的目标作为违法设摊事件输出。

(1) 评价指标

目标检测的结果测评时，主要的评价指标有召回率、准确率、误检率及漏检率，其主要与属于真阳性(True Positive, TP)、真阴性(True Negative, TN)、假阳性(False Positive, FP)、假阴性(False Negative, FN)四种类型的样本数量有关。其中：

1) TP表示算法预测为真，实际为真的检测目标数量

2) TN表示算法预测为假，实际为假的检测目标数量

3) FP表示算法预测为真，实际为假的检测目标数量

4) FN表示算法预测为假，实际为真的检测目标数量

由此可得，误检率和漏检率的定义为：

1) 准确率 = TP/(TP + FP)

2) 误检率 = FP/(FP + TP)

3) 漏检率 = FN/(TP + FN)

(2) 测试过程

算法测试选取S22铜山区K36 + 090路侧固定摄像机，该点位接近菜市场易发路侧摆摊事件，通过2021年9月至10月间30天时间，共采集包含实际发生摆摊事件以及现场模拟摆摊事件300段视频图像，视频图像采集帧率25帧/秒，分辨率为1080 p，作为算法测试样本。

图2. 违法设摊检测效果

测试过程中，可发现算法能够适应各类摆摊类型快速、精准定位检测，违法设摊检测效果如图2所示，识别准确率可达96.6%，漏检率不高于6.0%，算法测试性能指标统计如表1所示，能够较好地提升一线公路巡查效率提升，相对于传统人工视频轮询，提升工作效率7~8倍。

表1. 算法测试性能指标统计

本文提供了一种公路违法设摊事件视频检测方法，该方法综合应用机器视觉技术与基于深度学习的图像处理技术进行违法设摊事件检测。

(1) 提出结合动目标检测与基于深度学习的语义分割算法，对公路网实时视频进行图像分割，自动提取待检测的路面区域，实现违法设摊区域的自动识别；

(2) 提出利用基于深度学习的目标检测，识别出现在路面区域内的感兴趣目标，并与路面区域进行比对，实现侵占路面区域的违法设摊目标的准确提取；

(3) 提出通过目标重复次数判别、基于目标距离的目标聚集性判别以及违法设摊特定目标识别的组合步骤，对构成违法设摊关键要素目标的聚集区域进行识别与定位，从而实现违法设摊事件在视频图像中的检测。利用该方法，可以自动检测在道路上实时出现的违法设摊事件，有效提高公路网管理与执法部门检测处置公路违法设摊事件的效率，从而为保障公路安全畅通提供支持。

孙 满,王 展,杜 梁,谢 斌,乔 旭. 基于视频分析的公路违法设摊检测技术研究及应用Research and Application of Illegal Road Stalls Detection Technology Based on Video Analysis[J]. 交通技术, 2024, 13(02): 90-94. https://doi.org/10.12677/OJTT.2024.132011