1. 引言
大气探测是利用各种探测手段对大气中的物理过程和物理现象及气象要素等进行观测、探测并使用不同的载体记录下来。其所获取的气象记录、资料是进行天气预报、气候分析、气象科学研究和为各行各业服务的基础。根据探测的对象和范围,大气探测可分为地面气象观测、高空气象探测、特种观测和遥感气象探测 [1] 。
高空气象探测是现代气象探测业务工作中非常重要的一个组成部分 [2] 。随着新型探测设备陆续投入到实际探测业务中,高空气象探测设备已经基本上实现了电子化、自动化。探测技术的不断进步和探测设备的更新换代,导致现有的业务管理体制已远远跟不上现代高空气象探测事业发展的步伐 [3] ,主要表现在:1) 高空观测数据的归档和整理主要以人工为主,人力和时间成本较高,存在人为主观因素的不确定性;2) 高空气象探测数据处理方法效率低下、准确性不足,无法满足业务单位对高空气象信息的即时性、精准性和全面性的要求;3) 数据填报和审核流程繁琐且易出错,严重影响了数据的质量和时效;4) 缺乏统一、高效的信息管理手段,数据分散、信息孤岛化,难以进行有效的数据整合和综合分析。
近年来,虽然四川省气象探测业务取得快速进步,但在规范化数据填报与审核工作上也存在着上述诸多方面的问题。此外,实时地对探测设备的运行状态进行监控,及时发现探测系统存在的问题;对探测设备采集的探测数据进行统计分析,判断探测设备是否正常工作;快速、高效、准确地对各探测台站及探测时次进行效能统计,对各探测系统的探测高度进行统计,以及快速检索台站及探测系统的基础信息 [4] ,这些问题的解决在四川省现代高空气象业务管理工作中也已显得非常迫切!
为此,根据《常规高空气象观测业务规范》要求,针对四川省气象探测业务管理需求,整合已有成熟的研究成果,依托先进的大数据、物联网、网络编程等技术,研究开发探空观测信息化管理平台,以期通过平台业务运行,完善四川省探空业务的规范化管理工作。
2. 业务现状
四川省高空气象观测主要是探测地面至3万米高空的温度、气压、湿度、风向、风速等气象要素,还有特殊项目如大气成份、臭氧、辐射、大气电等。测量方法以气球携带“探空仪”升空探测为主 [5] ,用气球将探空仪带入空中,探空仪在飞升过程中感应出周围空气的温度、气压和湿度,并将探测的气象要素转换为无线电讯号,连续不断地发给地面接收系统,观测人员对接受的无线电讯号加以整理计算,获得高空的温度、气压、湿度、风向、风速等气象要素。
在此一系列过程中,四川省的《高空观测数据质量统计表》《综合业务值班登记表》《业务值班质量统计表》《探空仪、气象气球质量问题登记表》《高空观测系统仪器装备运行状况统计信息表》《探空耗材存量统计表》《雷达运行维护表》等众多报表及日志的填写都是由市县局业务人员人工完成后上报省局气象探测数据中心审核,经过省局气象探测数据中心统一收集并人工审核无误后,最终上报中国气象局主管部门。另外,目前四川省各探空站在采购用于制作探空气球的氢气的过程中,氢气厂家营业执照、老化品经营许可证、道路运输经营许可证、购氢合同、氢气检测报告等信息,也全是由人工纸质填写归档。在此过程中增加了很多不必要的工作量且容易出错。
因此,亟需研究并建设一个标准化的探空业务管理平台,整合各类探空资料的智能化填写、上报与审核工作,在减少工作量提升工作效率的同时增加业务管理的规范性和准确性。
3. 研究进展
由于高空气象观测业务及管理存在上述阐述的系列问题,高空气象观测作业目标无法顺利实现,也造成了高空气象观测工作量有所增加,这对于高空气象观测工作有着很大的影响 [6] 。针对现代高空气象业务管理工作中存在的一些难题,为减轻值班人员的工作量,保障高空观测业务的质量,一些气象科研工作者也在积极探索和研究解决方法。
在数据采集问题上,庹婷婷 [7] 设计了一套用于高空气象数据采集的通信控制系统,基本能满足控制进行准确范围内高空气象数据可靠采集和实时记录方面的需求,断网重连后能够接续上次的断点继续传输数据,极大地减少了业务数据丢失的情况。但是目前该系统无法实现通用到各类高空气象探测飞艇,面对不同业务需求体系无法方便移植,软件的界面和程序算法也有待进一步提高。周雪松 [8] 研究设计了.NET开发环境下的高空观测实时业务管理软件,能够对数据文件进行自动检索和上传,无需人工操作,对于提升台站高空探测的质量、减轻值班员的工作量,具有较好的现实意义。
在数据质量控制方面,范宏飞 [9] 针对高空资料的特点,设计了一套高空资料自动质量控制系统,该系统可操作性强,能够实时滚动质量控制,且能高效地检测出高空资料的疑误数据并进行人机交互处理,实现了实时、历史高空资料一体化和资料的质量控制,满足了气象资料的完整性、时效性、一致性和高质量的要求。
在数据备份问题上,李子亮 [10] 等使用Python开发了高空探测备份软件,实现了高空观测数据的一键备份与归档功能,提高了高空气象观测站的数据备份归档的可靠性、安全性,节约了人工成本和时间成本,提高了工作效率。
针对制氢安全监测问题,央珍 [11] 设计了高空气象业务制氢安全监测系统,该系统能够接收高空气象业务制氢安全监测数据,实现监测安全数值超出阈值报警;实时显示高空气象业务制氢安全监测结果,在确保高空气象业务制氢安全的同时,也提高了高空气象业务制氢安全监测精度。
从当前现有的研究成果来看,虽然信息化系统在一定程度上解决了高空气象观测业务管理问题,但一些问题仍未很好的解决,如:探空气球在探测工作中由于出现下沉后又重新上升的情况导致存在特殊记录的问题仍未见有效的智能化、信息化解决方式,全部依靠人工处理 [12] [13] 。因此,还需进一步提升我国高空气象探空的信息化、智能化水平,提高我国高空气象探空业务的自主创新能力。
4. 设计思路
根据当前先进的研究成果,充分吸纳其建设优点,结合四川省高空气象探测业务和管理需求,采用多技术融合及智能化数据处理技术设计四川气象高空观测信息管理平台功能。总体建设WEB端应用软件,融合云计算、物联网、大数据等前沿技术,实现高空气象探测数据的实时采集、高效传输、安全存储和智能分析。为满足气象探测业务的不断拓展,引入机器学习算法和人工智能技术,进行数据的深度挖掘、异常检测、趋势预测和预警短息生成,提升数据处理能力和分析精度,极大地提升业务自动化和智能化程度。
业务人员在系统界面完成系统登录注册、探空站点管理、业务值班记录、探空值班日志、安全检查登记、报表模板配置、报表统计管理、报表审核管理和报表汇总管理等业务操作,业务数据均由平台根据实际探测情况自动化填充生成;支撑探空站质量信息员对探空仪、气象气球按照先到先用的原则,对其的发放、储存、使用、故障等情况进行如实登记,及时汇总并上报上级业务主管部门和技术保障部门,并以数据库表的形式存储高空观测基础数据,方便后期数据检索。
5. 平台架构
根据平台的应用需求,按照系统软件工程的思想和方法,将整个系统采用结构化、模块化设计,按照分层构架方式设计系统总体架构,并遵循SOA架构标准,不同的功能集成于不同的模块中,在今后业务功能发生改变或拓展时,可以直接针对具体模块进行修改和新增,而不需要重新进行编程。平台总体架构设计如图1所示。
Figure 1. The overall architecture of the platform
图1. 平台总体架构图
6. 技术路线
项目技术路线的选择以成熟可靠为首要考虑条件,务求达到保证软件系统长时间无故障稳定运行为的目标。探空业务管理平台基于四川省气象大数据云平台的总体框架,以B/S结构为主,并基于java构建系统主体应用程序。采用目前最流行的微服务架构进行设计开发,前后端分离解耦。前端基于JavaScript语言进行开发,采用VUE3.0、Element UI-PLUS/Lay-UI、WebGL、Openlayers等框架技术来实现数据的可视化展示、交互工具及综合管理页面;后端使用Java语言基于Spring Cloud微服务架构开发,采用MYBATIS-PLUS实现数据的增、删、改、查等操作,易于数据源切换实现程序可扩展性;同时,采用json数据格式等方式与前端结合,达到数据信息可视化展示效果。后期将探空业务管理平台与天元系统进行自动化对接,实现将探空的备品备件、探测状态等功能模块与天元系统的相关管理模块进行自动化对接,提升高空观测及业务管理工作的效率和规范性。
(1) 系统结构
B/S结构(Browser/Server,浏览器/服务器模式),是WEB兴起后的一种网络结构模式,WEB浏览器是客户端最主要的应用软件。这种模式统一了客户端,将系统功能实现的核心部分集中到服务器上,简化了系统的开发、维护和使用。客户机上只要安装一个浏览器(Browser),服务器安装SQL Server、Oracle、Sybase、Informix等数据库。浏览器通过Web Server同数据库进行数据交互。大大简化客户端电脑载荷,减轻系统维护与升级的成本和工作量。
(2) 关键技术
① Java技术
用于接收浏览器端接收的http请求。java程序拿到请求后,通过请求的路径和参数后找到具体的处理器,在处理器中程序通过操作本地文件读取、使用tcp网络协议与ftp、sftp等网络文件系统交互、使用tcp网络协议与数据库进行数据交互等方式获取不同来源的数据,再加上处理业务逻辑的算法加工成用户所需要的产品(比如说用户需要的数据,用户需要处理的操作等等),如果用户的请求需要某种结果,则再通过http协议返回到浏览器上,用于数据展示。
和第三方系统做交互。通过java程序,可以通过不同的协议方式与另外的系统协作去处理某项业务。例如可以通过http协议与python开发的flask系统做请求与响应的过程、通过tcp协议与消息中间件去发送消息、与redis,zookeeper共同去满足一套业务逻辑的处理等等。
系统的定时任务功能。通过java程序解析熟悉的cron表达式,就可以知道用户希望何时该去做某件事,这样通过配置到了指定的时间就可以做指定的事情了。
② 数据库技术
数据库是平台的基础,存储高空气象观测相关的业务数据,包括站点位置、设备配置、监测数据、网络信息、信息分类及标准代码、系统运行信息。数据库设计过程主要考虑以下原则:1) 在系统总体规划和设计方案的指导下进行;2) 数据分类存储,考虑静态与动态数据、原始数据与结果数据、基础数据与应用数据等的分类存储;3) 遵守高空气象信息分类指标体系和编码方式;4) 保证数据库的正确性和完整性,同时尽量降低数据冗余。
本平台建设申请使用四川省气象大数据云平台的虚谷数据库,虚谷数据库是一款具有高性能、高安全性和高可靠性和完全自主知识产权的分布式数据库系统,是位于用户与操作系统之间的一层数据系统管理软件。它具有同时满足现在的“政治诉求”和未来的“效益诉求”的能力,具备软硬件国产化替换能力。它采用无共享分区分片架构和分布式计算,多副本容错机制保障数据的安全性,同时提供高性能并行计算。虚谷数据库适用于联机分析型(OLAP)和联机事务型(OLTP)及其混合处理(HTAP)等场景,适用于国家集约型应用场景、大型数据中台建设和自主创新应用的数据引擎建设。
虚谷数据库管理系统已经通过国家权威机构的审查,从v1.0版本开始的所有设计均具有原创性。在近三年内,在已有研发基础上,虚谷DBMS全面达到目前Oracle10所具有的功能和性能,能在主流的Unix、Linux、Windows等平台上可与Oracle、DB2、SQLServer等目前主流的数据库管理平台软件竞争。
(3) 功能实现
报表模块化设计上,动态添加删除业务记录、报表检查,使用模块化设计为后期添加更多的功能做铺垫,模块与模块之间相互独立,互不影响,可以使后期添加的功能独立,互不影响。
文件数据存储中,使用nginx静态存储,后端配置文件拦截规则,拦截异常文件以及服务器危险执行脚本,静态存储保证服务器后端业务稳定,提供系统的并发能力以及对外服务能力。
提交的必填日志数据中,前端使用数据校验框架保证数据不为空,后端使用hibernate-validation校验框架实现,避免了业务功能冗余,遵循业界规范,方便后续对功能扩展和重写。后端接口校验防止非正常用户直接调用业务接口,保障接口数据安全以及防止接口产生脏数据,避免影响正常的业务流程。
日志信息查询优化,创建数据库索引(Primary Key,Unique Key,聚集索引),保证在大量的数据中快速查询以及关键词过滤。
统计查询类功能中,使用Scheduling框架实现自定义cron表达式定时任务,异步计算数据,报表导出使用poi框架实现导出excel和简化表格头以及数据合并处理。
由于业务中使用了大量的表单提交,对重要的表单进行幂等性校验,防止用户重复提交,以及非正常访问的重复提交。所有功能中,使用逻辑删除业务数据,保证数据安全以及快速备份和恢复。
7. 数据库建设
本平台数据库主要通过对业务中的高空探测业务数据质量统计、业务值班登记、探空仪和气象气球质量问题、装备运行状况、耗材存量等数据进行收集和处理,构建多源数据库。
数据表是进行数据访问与存取的工具。对于任何一个数据库应用系统,它的数据处理的工具和对象均是数据表,界面只是一种外在的表现,因此系统中各种各样的界面制作的目的,就是通过界面中的控件实现对数据表中的数据进行存取、访问等操作。因此,设计各种需要的数据表,本平台系统部分数据库表设计见表1~表6。
Table 1. Radiosonde quality problem registration form
表1. 探空仪质量问题登记表
Table 2. Meteorological balloon quality problem registration form
表2. 气象气球质量问题登记表
Table 3. Statistical table of quality problems of sounding instrument
表3. 探空仪质量问题统计表
Table 4. Statistical table of meteorological balloon quality problems
表4. 气象气球质量问题统计表
Table 5. Radiosonde report circulation record table
表5. 探空上报流转记录表
8. 平台功能介绍
针对四川省探空业务管理实际需求,平台核心功能模块建设主要包括以下几部分(如图1所示):
Figure 2. Platform function structure diagram
图2. 平台功能结构图
(1) 探空站点管理模块
充分利用信息化手段,实现对探空站点信息的全面数字化管理。通过引入先进的搜索引擎技术,用户可以按照区域、关键字等多元化条件快速检索台站及探测系统的基础信息,极大地提高信息检索的效率和准确性。支持新增站点、编辑、删除站点信息等操作,轻松维护站点信息的完整性和实时性。能够展示站点信息详情,用户可以全面了解探空站点的运行状态和配置情况,为站点管理提供有力支持。
(2) 业务值班记录模块
实现业务值班记录的自动化管理。平台能够根据预设内容自动生成业务值班报表,并通过配置智能通知策略实时推送给值班人员,确保其及时获取值班信息。支持按照时间、所属站点、站点编号、值班人员等条件进行快速检索,帮助用户迅速定位所需信息。
(3) 探空值班日志模块
该模块通过引入自动化和智能化技术,实现探空值班日志的高效管理。平台能够根据探空周期自动填充探测数据,大大减轻了人工录入的工作量,同时基于大数据分析技术智能分析出探测数据的趋势是否正确,对于异常数据能够进行提示。支持人工核对修订,确保数据的准确性和可靠性。具备强大的检索功能,用户可以根据时间、球炸或不合格登记等条件快速查询值班日志信息。支持用户进行新增、编辑、删除、下载、打印等操作,轻松管理值班日志信息。此外,该模块还具备自动录入不合格信息并生成不合格登记信息的功能,进一步提升管理的智能化水平。
(4) 安全检查登记模块
实现对探空站点安全检查登记信息的全面管理。用户能够通过系统快速查询历史安全检查记录,并实时更新最新检查情况。支持新增登记、编辑、删除等操作,方便用户对安全检查信息进行灵活管理,有助于确保站点安全管理的规范化和标准化。
(5) 报表模板配置模块
该模块充分体现创新性和信息化特点。平台提供丰富的报表模板库,用户可以根据需求选择合适的模板进行配置。同时,系统支持上传、下载自定义模板,方便用户根据实际情况进行个性化设置。支持配置模板提醒填报周期,确保报表填报的及时性和准确性。
(6) 报表统计管理模块
通过系统快速查询历史报表统计信息,并进行填写、编辑等操作。具备自动更新功能,确保报表统计信息的实时性和准确性。用户可以根据需求自定义统计规则和报表格式,满足不同的管理需求。
(7) 报表上报管理模块
简化报表上报流程,用户在平台上直接订正智能生成的报表、编辑报表统计信息,并一键上报给上级审核,支持导出报表。能够实时查看报表审核记录和状态,确保上报流程的透明化和高效化。
(8) 报表审核管理模块
实现对探空站点上报报表统计信息的智能化审核。支持按照审核状态、时间、探空站等条件进行快速检索,方便用户定位待审核报表。提供报表审核通过或拒绝操作,用户可以根据实际情况进行灵活处理。能够查看审核后报表统计信息和审核记录,确保审核过程的可追溯性和规范性。
(9) 报表汇总管理模块
实现对探空站点上报报表统计信息的全面汇总和分析。用户可以根据年份、报表统计名称等条件进行快速查询,并查看详细的汇总信息。支持下载全部探空站点报表统计信息功能,方便用户进行离线分析和利用。基于统计分析和数据挖掘技术,对报表数据进行多维度分析,能够发现潜在问题和趋势,为决策提供支持。
9. 结论与展望
9.1. 总结
随着云计算、物联网、移动互联、大数据、人工智能等新技术的推动,我国气象探测系统技术正向智能化、网络化和数字化方向发展。一方面,利用人工智能技术,实现了气象探测设备的自主学习和自适应调节,提高了气象探测效率和质量;另一方面,利用物联网技术,实现了气象探测设备的无线连接和远程控制,构建了气象探测网络;再者,利用大数据技术,实现了气象探测数据的快速传输和深度挖掘,提供气象探测数据服务。
本研究根据中国气象局高空探测系统的功能规格需求书及气象软件工程规范的有关规定,结合以往各种不同探空信息软件的优点,克服其不足,开发适应不同探空记录要求的四川省探空业务管理平台,实现了软件系统的规范化、智能化、自动化。
通过本平台建设,实现了高空观测业务的探空站点管理、业务值班记录、探空值班日志、安全检查登记、报表模板配置、报表统计管理、报表上报管理、报表审核管理、报表汇总管理,由自动化生成取缔人工填报的现状,达到了信息化、准确、高效、集约的目标,能有效减少和避免人工填报带来的错误,大幅提升高空观测业务技术水平。
9.2. 创新点
本平台建设对推动气象探测领域的科技进步和发展,为四川省乃至全国的气象探测业务提供强有力的支持和服务,具有重要的创新价值,在平台设计与开发过程中,对技术创新、数据处理、用户体验等方面进行了重点设计。
(1) 先进的技术融合
融合云计算、物联网、大数据等前沿技术,实现了高空气象探测数据的实时采集、高效传输、安全存储和智能分析。引入机器学习算法和人工智能技术,自主进行数据的深度挖掘、异常检测、趋势预测和预警短息生成,满足气象探测业务的不断拓展。
(2) 高效数据处理
设计了高效的数据处理流程,实现高空气象探测数据的快速清洗、整合分析和分类管理。采用统计分析和数据挖掘技术,对高空气象探测数据进行多维度的深度分析,揭示数据背后的隐藏规律和潜在价值,提升业务的分析深度和广度。
(3) 交互式界面设计
采用直观、易用的交互式界面设计,用户能够轻松便捷地浏览、查询和分析高空气象数据,提升用户的使用体验和操作便利性。
9.3. 展望
依托现代发展迅速的信息化技术,探空业务管理平台在将来进一步的升级研究中,将着眼于数据、算法、应用等方面创新能力提升。基于探空业务管理平台夯实数字气象基础设施,建设各级探测终端入网控制能力,支持气象探测设备安全入网,维护气象数据安全,保证合规用户的网络畅通,杜绝非法用户接入安全风险,同时加强数据质量评估与优化、智能化决策支持等方面的研究,满足现代气象探测业务的管理需求,为国家安全、社会发展和部门管理提供更好的服务。