本文针对公路日常巡查业务需求，结合无人机技术、5G传输技术、GIS技术和图像识别技术，提出了一种基于无人机的公路异常事件判别分析系统。该系统通过无线传输实现无人机画面的即时传输。无人机采集的视频和轨迹数据实现联动管理，并与GIS地图经纬度坐标进行关联。系统利用GIS地图结合智能识别实时展示公路异常事件，提供公路异常现场图片和视频，并支持标准接口，以便与已有业务系统进行对接。此外，系统利用无人机采集的视频制作三维影像，实现将10公里路段三维实景化管理，并实现对公路现场距离、高度、面积等进行定量化测量，从而大大提升公路管理的效率。通过标准化数据接口，系统能够与已有的协同巡查系统和路政执法部门共享异常事件现场图片或视频，并提供异常事件的精确桩号定位信息，进一步加强协同巡查的效率。 This article presents a UAV-based abnormal event analysis system for highway routine inspection business requirements, combining drone technology, 5G transmission technology, GIS technology, and image recognition technology. The system provides real-time transmission of drone footage via wireless connectivity. It realizes linked management of video and trajectory data collected by UAVs, which is associated with the latitude and longitude coordinates of the GIS map. The system employs GIS mapping combined with intelligent recognition to display abnormal highway events in real time, providing on-site pictures and videos of highway abnormalities, and supports standard interfaces for integration with existing business systems. Moreover, the system uses UAV-collected videos to create three-dimensional imagery, achieving 3D-realistic management of 10-kilometer road segments, and enables quantitative measurements of on-site distances, heights, and areas, thus greatly enhancing the efficiency of highway management. Through standardized data interfaces, the system can share on-site pictures or videos of abnormal events with existing collaborative patrol systems and road law enforcement departments, offering precise pile number location information for abnormal events, and further strengthening the efficiency of collaborative patrols.
本文针对公路日常巡查业务需求，结合无人机技术、5G传输技术、GIS技术和图像识别技术，提出了一种基于无人机的公路异常事件判别分析系统。该系统通过无线传输实现无人机画面的即时传输。无人机采集的视频和轨迹数据实现联动管理，并与GIS地图经纬度坐标进行关联。系统利用GIS地图结合智能识别实时展示公路异常事件，提供公路异常现场图片和视频，并支持标准接口，以便与已有业务系统进行对接。此外，系统利用无人机采集的视频制作三维影像，实现将10公里路段三维实景化管理，并实现对公路现场距离、高度、面积等进行定量化测量，从而大大提升公路管理的效率。通过标准化数据接口，系统能够与已有的协同巡查系统和路政执法部门共享异常事件现场图片或视频，并提供异常事件的精确桩号定位信息，进一步加强协同巡查的效率。
无人机，公路巡检，异常事件识别，协同巡查
Kun Liu1, Yuxiang Zheng1, Rongbin Sun1, Xu Qiao2, Bin Xie2
1Xuzhou Highway Development Center, Xuzhou Jiangsu
2China Design Group Co. Ltd., Nanjing Jiangsu
Received: Jun. 21st, 2023; accepted: Mar. 14th, 2024; published: Mar. 22nd, 2024
This article presents a UAV-based abnormal event analysis system for highway routine inspection business requirements, combining drone technology, 5G transmission technology, GIS technology, and image recognition technology. The system provides real-time transmission of drone footage via wireless connectivity. It realizes linked management of video and trajectory data collected by UAVs, which is associated with the latitude and longitude coordinates of the GIS map. The system employs GIS mapping combined with intelligent recognition to display abnormal highway events in real time, providing on-site pictures and videos of highway abnormalities, and supports standard interfaces for integration with existing business systems. Moreover, the system uses UAV-collected videos to create three-dimensional imagery, achieving 3D-realistic management of 10-kilometer road segments, and enables quantitative measurements of on-site distances, heights, and areas, thus greatly enhancing the efficiency of highway management. Through standardized data interfaces, the system can share on-site pictures or videos of abnormal events with existing collaborative patrol systems and road law enforcement departments, offering precise pile number location information for abnormal events, and further strengthening the efficiency of collaborative patrols.
Keywords:Unmanned Aerial Vehicle, Highway Inspection, Abnormal Event Recognition, Collaborative Patrol
Copyright © 2024 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
公路巡查是保障道路交通安全和维护公路设施的重要工作。传统的公路巡查方式存在人力资源不足，效率低下等问题。随着无人机技术的快速发展和5G传输技术的成熟应用，利用无人机进行公路巡检成为一种创新和高效的选择。
本文旨在研发一种综合技术系统，结合无人机技术、5G传输技术、GIS技术和图像识别技术，以提高公路巡检的效率和准确性。通过无人机高分辨率拍摄公路，获取全面的路况信息，并利用5G传输技术实时传输数据至中心服务器进行处理和存储。利用GIS技术将公路网络映射为数字模型，实现对公路网络的可视化管理。通过图像识别技术对拍摄的照片进行智能分析，自动识别公路上的障碍物、交通标志等信息，辅助巡查人员进行精准巡查。该综合技术系统可以提高巡查效率和准确性，降低成本并减少误判风险，适用于不同类型的公路场景。
系统总体架构是一个系统化的设计方案，旨在协调和组织各个组成部分，确保系统在各方面都能够协同工作。它包括运行环境、数据库层、数据层、业务层和展示层等关键组件，每个组件都承担着特定的责任。运行环境定义了系统的部署方式，数据库层负责数据的存储与管理，数据层处理数据流和处理，业务层包含核心业务逻辑，展示层提供用户界面。
图1. 系统总体架构图
本研究设计了一个无人机管理模块，实现了无人机的实时定位和轨迹绘制、历史记录查看以及视频直播回放等功能。其中，该模块的核心功能是集成了高德地图API和无人机SDK，实现了无人机当前实时位置的地图显示。用户可以通过地图缩放和拖动等交互功能，方便地浏览和观察无人机的位置信息。此外，系统还提供了无人机飞行记录回显和飞行轨迹显示功能，以直观的方式展示无人机的历史飞行数据和运动路径。系统还支持轨迹的时间范围选择和回放功能，以便用户观看无人机的飞行轨迹回放。
此外，该系统还具备视频直播和回放功能。系统能够实时转码无人机直播的视频，并将转码后的mp4格式视频文件保存在服务器上，确保视频的可靠存储和后续使用。系统还提供在线点播功能和视频下载功能，用户可以观看无人机的历史视频回放，并将视频保存到本地进行离线观看。
为了确保系统的安全性，系统实现了视频删除功能作为安全保护措施。管理员可以对不再需要的视频进行物理删除操作，但在执行删除操作之前，系统要求进行适当的确认和权限验证，以防止误删除或未经授权的操作。此外，系统还进行了历史视频数据的管理，将其存储在流媒体服务器上，并采取必要的备份和存储管理措施，以保证数据的完整性和安全性。
最后，系统提供了无人机飞行记录查看功能，用户可以选择特定的无人机并查看其相关飞行记录。系统还提供搜索、过滤和排序等功能，以方便用户更好地浏览和管理无人机的飞行记录。
图2. 无人机巡查功能展示
本研究设计的系统实现了对公路异常事件的识别和监测。系统采用了深度学习中的目标检测算法、图像处理和增强技术，能够检测无人机航拍图像中的公路路侧标志和广告牌 [
此外，系统利用GIS地图技术实现了公路异常事件的空间展示和搜索功能。用户可以通过部署的GIS地图接收无人机巡查回传的问题数据，并在地图上进行标注和展示。系统提供文字和空间形式的搜索功能，方便用户根据关键词或地理位置等条件搜索巡查问题，并对巡查问题的空间分布状况进行分析和统计。
系统还具备数据更新和实时性的功能，保证地图上显示的公路异常事件信息与实际情况一致。通过调节数据传输和处理的效率，系统及时更新和反馈问题数据。同时，系统提供了巡查问题数据的统计分析功能，帮助用户深入了解巡查问题的整体情况和趋势。
为了实现数据交互和共享，系统建立了标准化的数据接口，与协同巡查系统和路政执法部门进行数据交互和共享，促进公路管理部门和路政执法部门之间的协同作业。
图3. 异常事件识别
本研究旨在探讨无人机影像在公路异常事件识别与公路倾斜摄像三维模型融合方面的应用，以提高公路巡检效率和准确性。
首先，我们采集了大量无人机视频数据，对公路及周围环境进行了详细的分析。通过计算机视觉和图像处理算法，我们对公路及周围环境进行了三维重建和模型构建 [
接下来，我们将识别出的标志标牌和施工事件的信息以图标的方式嵌入到三维模型中，并通过点击图标的方式可以查看检测识别事件的历史视频。结合其定位信息，我们实现了对公路上的标志标牌和施工事件在三维模型中的显示和标注。这使得巡检人员能够更清晰和直观地了解公路标志标牌和施工事件的实际情况，从而帮助他们快速发现问题和进行分析决策。
最后，我们将制作完成的三维影像接入系统中展示和交互。用户可以通过平台进行浏览和分析，实现对公路和周围环境的全方位观察和分析。这为相关部门和研究机构提供了宝贵的数据和资源，支持公路规划、维护和管理等方面的工作。
图4. 三维建模
基于无人机影像公路智能巡查系统的应用代表着公路巡检领域的一个重要进步。通过采用5G传输技术、GIS技术、图像识别技术和无人机等先进技术，该系统在检测道路上的异常事件方面表现出高准确性。成为提高公路巡检效率和降低成本的解决方案。
未来，我们计划进一步改进该系统，并将其扩展到其他地区和场景中。例如，我们将探索如何将该系统与智能交通系统相结合，以实现更高效的巡检和管理。我们还将研究如何将该系统与其他无人机技术相结合，以提高其性能和效率。最后，我们将继续改进算法和数据处理技术，以提高系统的准确性和可靠性。
刘 坤,郑玉香,孙荣斌,乔 旭,谢 斌. 基于无人机影像的公路智能巡查系统研究及应用Research and Application of Intelligent Highway Inspection System Based on Unmanned Aerial Vehicle Imagery[J]. 交通技术, 2024, 13(02): 95-100. https://doi.org/10.12677/OJTT.2024.132012