1. 引言

近年来，随着社会经济的快速发展，灾害性天气对社会经济和生命财产的威胁日益加剧。强对流天气作为我国主要的灾害性天气之一，具有突发性强、破坏力大、空间范围小、持续时间短等特点[1]，这些特点给预报结果的准确性带来了巨大的挑战。强对流天气的精准预报给防灾减灾措施的制定和实施提供了重要的气象指导。0~2小时的临近预报旨在利用历史气象数据预测未来2小时内的天气情况，以便有效预测并应对潜在的强对流天气事件。尽管在过去几十年间，研究学者在临近预报领域取得了一定成果，但预报的准确性还需要进一步提高。

2. 相关工作

2.1. 传统临近预报方法

传统临近预报方法主要包括数值天气预报[2]和基于雷达外推[3]的方法。数值天气预报是基于物理方程和气象观测数据来预测天气变化的一种方法。该方法通过建立大气运动的数学模型，利用高性能计算机进行数值模拟，从而得到未来天气的预报结果。虽然数值天气预报能有效地预测天气的长期运动趋势，但针对于临近预报任务而言，该方法存在一定的局限性，比如难以精确捕捉到小尺度的降水等[4]。因此，性能更好地基于雷达外推的方法成为了临近预报系统中的主流方法。这种方法具有较高的时空分辨率，能够较好地捕捉到小尺度降水系统的变化。

交叉相关法[5]和光流法[6]是两种代表性的传统外推方法，它们主要依赖于雷达观测数据，通过分析天气系统的运动趋势，将当前的雷达回波分布外推到未来时刻，从而实现临近预报。然而，这些方法也存在一些局限性。首先，它们假设雷达回波的运动是均匀的，即回波的形状和强度在短时间内保持不变，这通常与实际降水的演变趋势不符[7]。其次，这些方法仅考虑了相邻两帧雷达回波图像之间的相关性，而忽略了连续序列中其他帧之间的时空依赖关系。因此在预报降水的强度变化和持续时间方面存在一定的困难。基于雷达外推的方法还需要进一步的改进，才能满足当今社会对临近预报的需求。

2.2. 基于深度学习的临近预报方法

近年来，深度学习[8]技术得到了广泛的关注和研究。该技术具有强大的特征学习能力和模型表达能力，能够从大量的历史数据中学习到复杂的非线性关系和时空模式，这为解决临近预报此类密集型预测任务提供了新的研究方向。

基于深度学习的时间序列预测技术，在降水预测中起到了重要的里程碑作用。Shi等人将临近预报任务视为时间序列预测任务，并提出了卷积长短期记忆神经网络(Convolutional Long Short-Term Memory, ConvLSTM) [9]。该模型通过在传统的长短期记忆网络(Long Short-Term Memory, LSTM) [10]中引入卷积操作，有效地捕捉到雷达回波数据中的空间结构信息，从而更好地预测未来的天气状况。为了解决ConvLSTM在处理复杂降水系统进行运动时难以准确捕捉其运动趋势的不足，Shi等人进一步提出了轨迹门控循环单元(Trajectory Gated Recurrent Unit, TrajGRU) [11]，它可以根据输入数据学习位置变化的连接结构，从而更好地捕捉运动模式的动态变化。为了解决时空预测学习中长期依赖建模不足和信息流动受限的问题，Wang等人提出了预测递归神经网络(Predictive Recurrent Neural Network, PredRNN) [12]。PredRNN的锯齿型记忆流机制允许记忆单元跨层通信，有效提升了模型对降水系统短期形变特征与长期演变规律的多尺度动态建模能力。在PredRNN的基础上，PredRNN-V2 [13]结合了记忆去耦损失和反向调度采样策略，进一步提高了模型对复杂的时空变化进行捕捉的能力和模型生成图像的质量。

除了上述基于循环神经网络(Recurrent Neural Network, RNN)的工作，卷积神经网络(Convolutional Neural Network, CNN)凭借出色的图像特征提取能力，在临近预报领域中也得到了广泛应用。Agrawal等人在时间维度上连续输入多帧图像，并使用U-Net [14]架构进行预测，其预测性能优于传统的外推方法[15]。Trebing等人以U-Net [14]架构为基础，通过引入卷积注意力模块和深度可分离卷积，从而提出了SmaAt-UNet [16]。它仅需原始U-Net四分之一的参数量，即可达到与其相当的性能表现。

虽然CNN在捕捉空间依赖关系方面表现优异，但其固有的归纳偏差(如平移不变性和局部感受野)限制了其捕捉空间变换和长期依赖关系的能力。相比之下，RNN虽然擅长处理时间依赖关系，但其序列化处理特性使其无法实现并行化，导致反向传播效率低下。

Transformer [17]最初应用于自然语言处理(Natural Language Processing, NLP)领域，但其出色的长期依赖性建模能力使其在短时间内迅速扩展到计算机视觉[18]的多个领域，包括语义分割[19]、自动驾驶[20]以及医学图像分割[21]等。Transformer特有的多头注意力机制能够高效捕获长期依赖关系，同时支持并行计算。Rainformer [22]应用基于窗口的多头注意力(Window-based Multi-head Self-Attention ,W-MSA) [23]机制和全卷积网络学习全局特征，提升了高强度降雨预测的性能。LPTQPN [24]提出了一个带物理信息的轻量级Transformer框架，采用多头平方注意力(Multi-Head Squared Attention, MHSA)来模拟降水的高度非线性关系，同时降低了计算复杂度。TempEE [25]提出了一个多层次的时空注意机制，并结合一步前推策略来有效防止累积误差的扩散。这种机制和策略能有效捕捉降水数据中的时空动态变化，从而使TempEE能以较低的计算成本实现先进的预报性能。

尽管深度学习在临近预报领域取得了显著进展，但该领域的研究仍在不断进步之中。目前，研究工作主要集中在利用丰富的雷达回波数据，通过训练深度学习模型来学习雷达回波演变规律。随着深度学习技术的不断进步，本文紧跟领域前沿，提出了一种改进的基于Transformer的深度学习模型，并将其应用于临近预报任务，旨在提升模型对高强度回波的预测精度。通过这一研究，我们期望为深度学习在临近预报领域的应用提供新的思路，并推动该领域的进一步发展与优化。

3. 研究方法

3.1. 网络结构

如图1所示，我们提出的CSTN-PN (CSwinTransformer Network for Precipitation Nowcasting)网络架构由编码器和解码器两部分组成，每个部分均包含四个阶段，分别标记为Stage 1至Stage 4。该结构通过逐层提取全局与局部特征而后进行特征融合，实现了对未来降水的预测。编码器的每个阶段均包含全局特征提取模块(Global Feature Extraction Module, GFEM)、局部特征提取模块(Local Feature Extraction Module, LFEM)以及特征融合模块(Feature Fusion Module, FFM)。在每个阶段的初始部分，模型通过Patch Merging操作减少特征图的尺寸并增加通道数，从而实现更高效的特征提取。随后，GFEM和LFEM同步提取特征，并通过FFM对提取到的特征进行平衡与融合。

Figure 1. Diagram of the CSTN-PN

图1. CSTN-PN结构图

解码器的结构与编码器类似，但在每个阶段的末尾通过Patch Expanding操作逐步恢复特征图的尺寸并减少通道数。在解码器的Stage 1至Stage 3中，模型通过拼接(Concatenation, cat)操作将输入特征图与编码器对应阶段的输出特征图相结合，从而实现不同层次特征的连接与多尺度融合。此外，在Stage 4到模型输出之间，我们引入了一个卷积层来逐步降低通道维度，以减少信息丢失。具体而言，模型首先将特征图通过卷积操作过渡到一个中间缓冲层，最后将通道数减少到预测帧数10，以缓解直接减少通道数时可能造成的信息损失问题。解码器的设计有助于在特征提取过程中保留关键信息，并充分利用多层次特征，从而提升模型在降水预测任务中的整体性能。

3.2. 全局特征提取模块

全局特征提取模块(Global Feature Extraction Module, GFEM)是CSTN-PN的核心组件之一，其主要作用是增强模型对高强度降水特征的捕获能力。如图2左上方所示，我们引入了基于交叉型窗口的注意力机制的CSwinTransformer [26]模块，用于提取降水系统的全局特征。

临近预报任务通常需要模型高效处理大规模数据，以实现对高分辨率降水模式的密集预测。然而，传统的注意力机制由于计算复杂度与标记数量的平方成正比，因此，这类机制在处理高分辨率图像或大规模标记集时效率较低。为了缓解这种问题，我们采用了基于交叉型窗口的注意力机制，实现了对整个模型计算复杂度的有效降低，从而提升了模型的效率。

Figure 2. Architecture of the GFEM, LFEM and FFM

图2. GFEM、LFEM、FFM结构图

具体而言，基于交叉型窗口的注意力机制首先将输入特征图 $X\in R^{H\times W\times C}$ 沿着通道维度分割为K个头，每个头的维度为 $C/K$ 。对于每个头 $k\left(k=1,2,\cdots ,K\right)$ ，自注意力计算分为水平和垂直两个方向。以水平方向为例，特征图X沿宽度方向被分割成M个非重叠的水平条纹 $\left[X_1,X_2,\cdots ,X_M\right]$ ，每个条纹的宽度为 $sw$ 。对于每个条纹 $X_i$ ，自注意力计算如下：

$\begin{array}{c}{Y}_i^k=Attention\left(X_i{W}_Q^k,X_i{W}_K^k,X_i{W}_V^k\right)\end{array}$ (1)

其中， $X_i\in R^{\left(sw\times W\right)\times C},M=\frac{H}{sw},i=1,\cdots ,M$ 。 $W_Q^k\in R^{C\times d_k},W_K^k\in R^{C\times d_k}$ 和 $W_V^k\in R^{C\times d_k}$ 分别是第k个头的查询 $\left(Query\right)$ 、键 $\left(Key\right)$ 和值 $\left(Value\right)$ 的线性变换矩阵。

接下来，将K个头分为两组，每组 $K/2$ 个头，分别执行水平和垂直方向自注意力。这样，每个头都能在各自的方向上捕捉长距离依赖。

$\begin{array}{c}hea{d}_k=\{\begin{array}{c}H-Attentio{n}_k\left(X\right)\\ V-Attentio{n}_k\left(X\right)\end{array}\begin{array}{cc}& k=1,\cdots ,\frac{K}{2}\\ & k=\frac{K}{2}+1,\cdots ,K\end{array}\end{array}$ (2)

最后，将水平和垂直方向的自注意力输出在通道维度上进行拼接，并通过一个线性变换 $W_O$ 进行融合，得到完整的交叉型窗口注意力：

$\begin{array}{c}CSWin-Attention\left(X\right)=Concat\left(hea{d}_1,\cdots ,hea{d}_K\right)W_O\end{array}$ (3)

其中， $W_O\in R^{C\times C}$ 是线性变换矩阵。最终的输出是经过自注意力加权的特征图，其中包含了丰富的全局信息，为后续的阶段提供了强有力的特征表示。这种设计不仅能提高模型的计算效率，还能更有效地提取降水信息的全局特征，从而增强模型对高强度降水系统的建模能力。

3.3. 局部特征提取模块

在临近预报任务中，除全局特征具有重要的价值外，局部特征同样发挥着不可或缺的作用。如图2正上方所示，我们提出的局部特征提取模块(Local Feature Extraction Module, LFEM)专门用于从降水系统中提取关键局部特征，以增强模型对中低强度降水的预测能力。该模块主要由卷积块和高效多尺度注意力机制(Efficient Multi-scale Attention, EMA) [27]组成。具体而言，EMA通过将部分通道重构为批处理维度，并将通道维度分组为多个子特征图，这种做法既保留了每个通道上的特征信息，又显著降低了计算开销。通过LFEM，模型能够有效捕捉局部细节信息，从而进一步提升降水预报的性能。

3.4. 特征融合单元

特征融合模块(Feature Fusion Module, FFM)旨在实现全局与局部特征的有效融合。研究发现，将全局与局部特征直接进行相加或相乘的方式并不能取得很好的融合效果。为此，我们提出了FFM，其结构如图2右上方所示。FFM主要由权重调整和特征融合两个步骤组成，其计算过程如下：

$\begin{array}{c}G,L=split\left(\sigma \left(Conv\left(Concat\left(F_G,F_L\right)\right)\right)\right)\end{array}$ (4)

$\begin{array}{c}out=F_G*G+F_L*L\end{array}$ (5)

其中， $F_L$ 和 $F_G$ 分别表示局部特征和全局特征，L和G为对应的遗忘矩阵。L和G的值介于0和1之间，其功能类似于门控循环单元(Gated Recurrent Unit, GRU) [28]中的门控机制，这种机制能够选择性地丢弃不相关信息并保留重要特征。FFM将这种门控机制应用于全局和局部特征的融合过程中，从而有效减少了特征之间的数值差异。通过这种设计，FFM能改善全局和局部特征之间融合不平衡的问题。

4. 实验结果与分析

4.1. 实验设置

本文选择使用文献[29]提供的上海雷达数据，该数据集涵盖了2015年10月至2018年7月期间生成的17万张雷达回波图像，时间分辨率为6分钟，空间分辨率为1公里。在数据预处理阶段，我们剔除了因雷达故障或维护导致的非连续雷达回波，并通过步长为1的滑动窗口生成了76,779个长度为20的序列样本。最终，数据集被划分为训练集、测试集和验证集，分别包含44,099、20,440和12,260个序列样本。模型输入10帧，预测未来的10帧，即根据过去的1小时回波情况，外推未来的1小时回波信息。在预处理过程中，我们首先对雷达图像进行中心裁剪，保留中心384 × 384区域，随后将图像尺寸调整为128 × 128以降低计算成本。

实验基于PyTorch框架(版本1.8.2)构建，并在NVIDIA A40图形处理器(Graphic Process Unit, GPU)上进行训练和优化。我们采用Adam优化器，初始学习率设置为0.0001，学习率衰减步长为20,000，衰减因子为0.7，并使用StepLR作为学习率调度器。为防止模型过拟合，我们在训练过程中持续监测验证集上的临界成功指数(Critical Success Index, CSI)，最终选择验证CSI最高的模型作为预测模型。此外，我们对所有模型应用了梯度裁剪，裁剪阈值设置为50，以稳定训练过程。为有效验证所提出模型的性能，我们选择了ConvLSTM、SmaAt-UNet、LPT-QPN和Rainformer四个基准模型进行对比，采用量化和可视化两种评估方式。

4.2. 评价指标

我们使用气象评价指标、图像质量评价指标来评估模型。首先，对于气象评价指标，我们使用气象预报领域中广泛采用的指标来评估模型性能，包括临界成功指数(Critical Success Index, CSI)和海德克技能分数(Heidke Skill Score, HSS)。这两个指标的计算过程如下：首先，设定降水阈值，将预测图像和真实图像中超过阈值的网格点分类为雨点(标记为1)，低于阈值的网格点分类为非雨点(标记为0)。随后，逐像素遍历预测图像和真实图像，统计以下四种情况的数量：TP = (真实 = 1，预测 = 1)，FP = (真实 = 0，预测 = 1)，TN = (真实 = 0，预测 = 0)，FN = (真实 = 1，预测 = 0)。基于上述统计结果，CSI和HSS的计算公式如下：

$\begin{array}{c}CSI=\frac{TP}{TP+FN+FP}\end{array}$ (6)

$\begin{array}{c}HSS=\frac{2\times \left(TP\times TN-FP\times FN\right)}{\left(TP+FN\right)\left(FN+TN\right)+\left(TP+FP\right)\left(FP+TN\right)\text{}}\end{array}$ (7)

评估以上的两个指标时，我们参考[9]的研究，将0.5、2、5、10和30 mm/h定义为具体阈值。

此外，我们采用了均方误差(Mean Squared Error, MSE)、峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似性指数(Structural Similarity Index, SSIM)来评估图像质量。MSE用于量化预测值与真实值之间的像素级误差，PSNR反映了预测图像的质量，而SSIM则从亮度、对比度和结构三个方面评估预测图像与真实图像之间的相似性。这些指标的结合使用能够全面评估模型在临近预报任务中的性能表现。

4.3. 实验结果量化对比

在对比分析中，我们将取得最佳结果的记录以黑体标注，次佳结果以下划线表示。在上海数据集上，我们将CSTN-PN与现有的先进模型进行了对比，结果如表1所示。在图像质量评价指标上，各模型表现相近，但CSTN-PN仍展现出一定的优势。尽管在MSE指标上，SmaAt-UNet表现最佳，但CSTN-PN以0.4%的微小差距位居第二，显示出其较强的竞争力。

在气象评价指标方面，CSTN-PN在CSI和HSS上均表现优异，分别比第二名的模型高出2.1%和2.9%。这一结果表明，CSTN-PN在预测降水事件的成功率以及区分降水与非降水区域的能力上具有显著优势，这进一步验证了其在临近预报任务中的有效性。

Table 1. Quantitative comparison of results obtained by all models

表1. 模型结果各量化对比评价指标

表2展示了不同预测区间下各模型的CSI和HSS的得分情况。从结果可以看出，ConvLSTM在预测中低强度降水时表现较好，但在处理高强度降水时表现欠佳。这可能是由于其卷积结构在捕捉全局信息方面存在缺陷，导致其对高强度降水的预测能力不足。SmaAt-UNet的整体预报效果最差，这可能是因为该模型仅依赖卷积结构提取空间特征，而缺乏对时序特征的充分建模，从而降低了其对全局信息的捕捉能力。基于Transformer的模型Rainformer和LPT-QPN在低强度降水预测中的表现略逊于ConvLSTM，但在高强度降水预测中表现更为优异。这表明Transformer结构相较于传统的卷积结构，能够更有效地提取回波的全局特征信息，从而更好地预测强对流天气。相比之下，我们提出的CSTN-PN在大多数预测区间内均取得了最佳结果，尤其是在高强度(r ≥ 10, 30)降水预测中表现尤为突出。与其他方法相比，CSTN-PN在高强度降水预测中的优势体现了其对强对流天气的预测能力。

Table 2. Quantitative comparison of the CSI and HSS for various levels obtained by all models

表2. 模型对比的各级CSI和HSS值

量化实验结果表明，我们提出的模型具有出色的预报能力，证明了模型的实用性和可靠性。

4.4. 实验结果视觉对比

为了进一步体现CSTN-PN对高强度降水的预测能力，图3显示了一个随机选择的可视化示例。从这个图中我们可以看出，所有模型在初始阶段均能生成与真实回波图像较为接近的预测结果。然而，随着时间的推移，ConvLSTM和SmaAt-UNet的预测能力明显下降，生成结果开始模糊，尤其是高强度降水区域，其范围和边界细节表现出现显著偏离。Rainformer虽然在边界平滑性上有所改善，但其对高强度区域的预测能力仍有不足，存在一定的漏报现象。LPT-QPN能够较好地捕捉高强度区域，但其预测结果中存在较多的误报。此外，随着时间的增加，这些模型的预测结果在低强度区域存在一定的扩散现象，虚假回波增多。

Table 3. CSI and HSS values at different time intervals for visual comparison

表3. 视觉对比的不同时间间隔的CSI和HSS值

相比之下，CSTN-PN在高强度降水区域的捕捉上表现优异，其预测结果清晰且接近真实降水分布。尤其是在第60分钟的时候，CSTN-PN生成的回波图虽然和真实值存在一定差异，但较其他模型能更准确地捕捉高强度区域降水，且降水边界清晰，低强度虚假回波较少，这表明我们所提出的模型能够更好地预测更长时间的结果。

Figure 3. Visual comparison of all models

图3. 所有模型的视觉对比

为了量化图3中的预测结果，表3给出了本样例在第12、24、36、48和60分钟的CSI和HSS值。从表3中可以看出，CSTN-PN在各个时间段的CSI和HSS值均优于其他模型，尤其是在第60分钟的预测中，其CSI和HSS值分别比排名第二的模型高出3.1%和2.3%。这一量化指标进一步证明了CSTN-PN在长时间步的预测中表现优异，同时验证了模型的稳定性和有效性。

5. 结论与展望

在本研究中，我们提出了一种名为CSTN-PN的模型用于提高临近预报的准确性。该模型采用编码器–解码器结构，编码器和解码器均包含四个阶段。编码器通过逐步减少特征图的尺寸并增加通道数，实现了高效的特征提取；解码器则通过多层次特征的拼接与逐步还原操作，充分保留并利用了关键特征信息，使模型在雷达回波预测任务中表现出色。每个阶段均采用基于交叉型窗口的注意力机制捕获全局特征，并通过EMA挖掘局部多尺度信息，最后通过门控机制实现特征的深度融合。在上海数据集中的实验表明，这种全局与局部特征的科学结合显著提升了模型的降水预测能力。

虽然CSTN-PN这种基于数据驱动的方法能够学习到复杂的非线性关系，但模型未能充分考虑到气象数据中的不确定性和极端降水情况，同时也缺乏物理约束和(模型)可解释性。未来，我们计划引入随机时空模型和变分推断方法[30]，捕捉天气雷达回波分布和极端降水情况，从而提升预测的全面性和可靠性。此外，我们还将结合理论驱动的数值方法，使模型兼具物理严谨性和数据驱动的灵活性，进一步增强其可解释性和适应性，为临近预报任务提供更准确、可靠的解决方案。

基金项目

四川省自然科学基金项目(No. 2023NSFSC0245)；成都信息工程大学大学生创新训练项目(No. 202310621073)。

NOTES

^*通讯作者。

参考文献