准确的交通流预测对于提高智能交通系统的安全性、稳定性和效率至关重要。然而,考虑到交通流之间复杂的空间和时间依赖性,对交通网络中的时空关系进行建模是一项具有挑战性的任务。本文设计了一种新颖的时空图注意力网络(STGAL)来提取交通流动态和静态的时空相关性,更加有效解决交通流量预测问题。具体地说,它主要有三个模块:1) 图注意力网络用于捕捉节点之间的空间关系,对邻域节点进行有区别的信息聚合;2) 长短期记忆网络用于捕获交通流的时间相关性;3) 空间和时间注意力网络用于捕捉交通流中动态变化的时空关系。我们不仅考虑邻域节点的特征和边的权重来生成新的节点表示,而且考虑交通流动态变化的时空模式。此外,为了挖掘周期性数据对预测任务的影响,我们融合了交通流最近、日周期和周周期的三个组件特征信息。在多步交通预测任务上的大量实验证明了STGAL的有效性和优越性。 Accurate traffic flow forecasting is critical in improving safety, stability, and efficiency of intelligent transportation systems. However, considering the complex spatial and temporal dependence between traffic flows, modeling the spatial-temporal correlation in traffic is a challenging task. In this paper, we design a novel spatial-temporal graph attention networks (STGAL) to extract the dynamic and static spatial-temporal correlation of traffic flow simultaneously, and effectively address the problem of traffic flow forecasting. Specifically, there are three main modules: 1) Graph attention network is used to capture the spatial correlation between nodes and to aggregate the information of the neighborhood nodes differently; 2) Long short-term memory network to capture the tem-poral correlation of traffic flow; 3) Spatial and temporal attention networks to capture the spatial-temporal correlation of dynamic changes in traffic flow. We consider the characteristics of neighborhood nodes, weights of edges and spatial-temporal pattern of traffic flow dynamics. In addition, we integrate the recent, daily, and weekly component feature information of traffic flow to mine the impact of periodic data on prediction tasks. A large number of experiments on multi-step traffic forecasting tasks have proved the effectiveness and superiority of STGAL.
准确的交通流预测对于提高智能交通系统的安全性、稳定性和效率至关重要。然而,考虑到交通流之间复杂的空间和时间依赖性,对交通网络中的时空关系进行建模是一项具有挑战性的任务。本文设计了一种新颖的时空图注意力网络(STGAL)来提取交通流动态和静态的时空相关性,更加有效解决交通流量预测问题。具体地说,它主要有三个模块:1) 图注意力网络用于捕捉节点之间的空间关系,对邻域节点进行有区别的信息聚合;2) 长短期记忆网络用于捕获交通流的时间相关性;3) 空间和时间注意力网络用于捕捉交通流中动态变化的时空关系。我们不仅考虑邻域节点的特征和边的权重来生成新的节点表示,而且考虑交通流动态变化的时空模式。此外,为了挖掘周期性数据对预测任务的影响,我们融合了交通流最近、日周期和周周期的三个组件特征信息。在多步交通预测任务上的大量实验证明了STGAL的有效性和优越性。
智能交通,交通流量预测,时空相关性,图注意力网络
Qiang Deng1,2*, Tong Li2,3#, Chen Miao1,2
1School of Software, Yunnan University, Kunming Yunnan
2Key Laboratory in Software Engineering of Yunnan Province, Kunming Yunnan
3School of Big Data, Yunnan Agricultural University, Kunming Yunnan
Received: Oct. 24th, 2021; accepted: Nov. 22nd, 2021; published: Nov. 29th, 2021
Accurate traffic flow forecasting is critical in improving safety, stability, and efficiency of intelligent transportation systems. However, considering the complex spatial and temporal dependence between traffic flows, modeling the spatial-temporal correlation in traffic is a challenging task. In this paper, we design a novel spatial-temporal graph attention networks (STGAL) to extract the dynamic and static spatial-temporal correlation of traffic flow simultaneously, and effectively address the problem of traffic flow forecasting. Specifically, there are three main modules: 1) Graph attention network is used to capture the spatial correlation between nodes and to aggregate the information of the neighborhood nodes differently; 2) Long short-term memory network to capture the temporal correlation of traffic flow; 3) Spatial and temporal attention networks to capture the spatial-temporal correlation of dynamic changes in traffic flow. We consider the characteristics of neighborhood nodes, weights of edges and spatial-temporal pattern of traffic flow dynamics. In addition, we integrate the recent, daily, and weekly component feature information of traffic flow to mine the impact of periodic data on prediction tasks. A large number of experiments on multi-step traffic forecasting tasks have proved the effectiveness and superiority of STGAL.
Keywords:Intelligent Transportation, Traffic Flow Forecasting, Spatial-Temporal Correlations, Graph Attention Networks
Copyright © 2021 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
及时、准确地交通流分析和预测是建设现代化智慧城市过程中必不可少的部分。交通流量预测作为智能交通系统(ITS)的重要组成部分 [
在智能交通领域,交通流量预测是一种典型的时空图数据挖掘问题。图1表示了交通流量复杂的时空关系。节点表示分布在城市道路上的传感器,红色五角星节点表示预测结果,节点颜色越深表示对目标节点的空间关系影响越大,相应的虚线颜色深浅表示时间关系的影响大小。具体地,第一,在空间维度上,图1显示不同节点对预测目标节点的影响是不同的,而且相同节点对预测目标节点的影响也是随时间变化的。可见,不同道路节点之间的空间相关性是非线性的和高度动态的。第二,在时间维度上,交通流量具有动态时间依赖性。如图1所示,同一节点不同时刻的观测值呈现非线性变化,相邻时间节点之间的交通流量存在很强的相似性,然而较远时间节点的交通状态对预测时间节点的影响有时要大于较近时间点的影响。最后,交通流量在时空维度都存在很强的动态相关性,而且这种高度动态的时空相关性是同时存在的。因此,如何从这些非线性的时空数据中挖掘出这些复杂的时空相关性,是时空图数据挖掘任务的一项极大挑战。
图1. 交通流量复杂的时空关系
为了解决上述问题,我们提出了一种新的基于图注意力网络的深度学习模型,以有效地捕获道路交通流中复杂的时空依赖关系。本文的主要贡献:
· 我们提出了一种新颖的面向交通流量预测的时空图注意力网络(STGAL)。该模型能够更加准确提取交通流动态和静态的时空特征,有效解决交通流量预测问题。
· 我们不仅考虑邻域节点的特征和边的权重来生成新的节点表示,而且考虑交通流动态变化的时空模式。使用图注意力网络对邻域节点进行有区别的信息聚合;使用时空注意力块,用于捕捉交通流中动态变化的时空关系。
在多步交通预测任务上的大量实验,通过与各种基准方法对比分析,证明了我们的方法(STGAL)的有效性和优越性。
交通流量预测是根据历史交通流量数据特征来预测未来的交通流量。进一步,历史交通流量数据被表示为交通图网络上的时间序列。交通图网络定义为无向图 G = ( V , E , A ) ,其中V为图上的节点集(文中是指交通道路上分布的传感器), | V | = N 是节点数目,E为边集,表示节点V之间的连接关系, A ∈ R N × N 是图G的邻接矩阵,表示节点V间的空间关系。因此,历史交通流量数据就可以表示为 x = ( x t , x t − 1 , ⋯ , x t − T + 1 ; G ) 作为输入的长度T的交通序列,我们的核心目标是为了通过训练找到一个函数即F来预测下一个时间步长p,表示为 x ′ = ( x t + 1 , x t + 2 , ⋯ , x t + p ) ,具体地定义公式如下所示,其中 ϑ 是可学习的参数:
( x t + 1 , x t + 2 , ⋯ , x t + p ) = F ϑ ( x t , x t − 1 , ⋯ , x t − T + 1 ; G ) (1)
图2给出了本文提出的STGAL模型的总体框架。它由三个结构相同的独立组件组成,分别对历史数据的近期相关性、日周期相关性和周周期相关性进行建模。每一个组件包含相同的时空模块并通过残差连接。具体来说,空间注意力用来提取动态的空间关系,长短期记忆网络提取时间相关性,图注意力网络用来提取空间相关性,时间注意力提取动态的时间关系。输出层采用2-D卷积神经网络进行多步输出。最后,我们将所有组件的卷积输出相加作为我们模型的预测,并采用均方根误差即MSE损失来衡量预测与它的实际情况之间的差异。接下来我们将会详细描述ST BLOCK中的每一个模块以及多个组件融合的方法。
图2. 基于时空图注意力网络的交通流量预测模型框架(STGAL)
一条道路的交通状况会受到其他道路不同程度的影响。这种影响是高度动态的,随着时间的推移而变化。为了对这些属性进行建模,我们使用一种注意力机制 [
S = V s ⋅ σ ( ( x s W 1 ) W 2 ( W 3 x s T ) T + b s ) (2)
a i , j ( k ) = exp ( S i , j ( k ) ) ∑ j = 1 N exp ( S i , j ( k ) ) (3)
其中 x s 是空间注意力机制输入的特征序列, V s , b s , W 1 , W 2 , W 3 ∈ R N × N 是可学习的参数, S i , j ( k ) 表示节点i和节点j之间的关联强度,然后使用Softmax函数来确保节点的关注权重系数和为1。通过空间注意力机制我们可以得到空间关注度矩阵 S ′ ∈ R N × N 来提取交通流量动态的空间关系。
交通流量有非常强的时间相关性,尤其是相近的交通流量情况往往有着相似的模式。我们使用RNN的强大变体LSTM [
f t = σ ( W f ⋅ S ′ t + U f ⋅ h t − 1 + b f ) (4)
i t = σ ( W i ⋅ S ′ t + U i ⋅ h t − 1 + b i ) (5)
o t = σ ( W o ⋅ S ′ t + U o ⋅ h t − 1 + b o ) (6)
C ˜ = tanh ( W c ⋅ S ′ t + U c ⋅ h t − 1 + b c ) (7)
C t = f t ∗ C t − 1 + i t ∗ C ˜ t (8)
h t = o t ∗ tanh ( C t ) (9)
其中 是矩阵乘法运算符。 W f , W i , W o , W C ∈ R N × N 是权重矩阵,将输入 S ′ t 映射到三个门和输入单元状态。 U f , U i , U o 和 U C ∈ R N × N 是前一隐藏状态的权重矩阵。 b f , b i , b o , b C ∈ R N 是四个偏置向量。 f t , i t , o t 分别是LSTM的遗忘门、输入门和输出门。 C ˜ t , C t , C t − 1 ∈ R N × N 为LSTM的状态。通过长短期记忆网络我们可以有效提取交通流的时间关系。
图卷积网络被广泛应用于挖掘交通道路网络中节点之间的空间关系,但是标准的图卷积在计算过程中使用相同的卷积核参数,使得相邻节点的信息均匀地聚集到给定的中心节点。然而,这往往与事实情况不符合。道路节点之间的影响情况非常复杂,交通流量往往会受早晚高峰、天气、车道数、路况、车辆密度和交通事故等因素的影响。这导致了各个邻居节点对中心节点的影响是各不相同的。图注意力网络(GAT) [
β i , j = LeakyRelu ( α [ W h t , i ∥ W h t , j ] ) (10)
e i , j = exp ( β i , j ) ∑ v k ∈ N ˜ ( v i ) exp ( β i , j ) (11)
x ′ i = σ ( 1 K ∑ K = 1 K ∑ v k ∈ N ˜ ( v i ) e i , j ( k ) W ( k ) h t , j ) (12)
其中W是节点特征变换的权重参数, α ( ⋅ ) 是计算两个节点相关度的函数, h t , i 和 h t , j 是LSTM的隐藏层输出,LeakyRelu为激活函数, β i , j 是两个节点之间的注意力得分, e i , j ( k ) 是第k组注意力机制计算出的权重系数, W ( k ) 是可学习的参数。我们建议对K个输出取平均得到最终的结果 x ′ i 。
除了捕捉动态的空间关系,在时间维度上,不同时间段的交通状况之间存在相关性,并且在不同的情况下这种相关性也是不同的。因此我们还需要时间注意力机制 [
E = V e ⋅ σ ( ( ( x ′ i , t ) T U 1 ) U 2 ( x ′ i , t U 3 ) + b e ) (13)
T i , j ( k ) = exp ( E i , j ( k ) ) ∑ j = 1 N exp ( E i , j ( k ) ) (14)
其中 V e , b e , W 1 , W 2 , W 3 都是可学习的参数。 E i , j ( k ) 是第k组注意力机制计算出的时间i和时间j之间的关联强度。同样地使用Softmax函数来确保时间节点的关注权重系数和为1。通过时间注意力机制我们可以提取到交通流的动态时间相关性。
图3给出了对原始数据周期性特征的提取。输入数据的特征与最近、每日和每周观测的交通数据密切相关。如图所示,我们沿着时间轴截取长度为 T r 、 T d 、和 T w (T为采样的时间长度,n为正整数)的三个时间序列段,分别作为最近周期数据 X R ,日周期数据 X D ,即过去几天同一预测时刻的采样数据,周周期数据 X W ,即过去几周同一预测时刻的采样数据。因此,我们采用了一种基于参数矩阵的方法来融合STGAL中的三个组件(最近,每日和每周交通流模式),如下所示:
Y ′ = σ ( W R ⊗ Y ′ R + W D ⊗ Y ′ D + W W ⊗ Y ′ W ) (15)
其中, W R , W D , W W 是学习参数,表示其对预测目标的影响程度; ⊗ 是矩阵对应元素相乘的哈达马乘积; Y ′ R , Y ′ D , Y ′ W 分别是近期,日周期,周周期3个组件的输出。
图3. 输入时间序列片段构建示例
我们在两个真实交通数据集 [
数据集 | 传感器数量 | 时间范围 | 数据量 |
---|---|---|---|
PeMSD4 | 307 | 1/1/2018~2/28/2018 | 16,992 |
PeMSD8 | 170 | 7/1/2016~8/31/2016 | 17,856 |
表1. 实验数据集描述
为了评估交通预测模型的预测性能,我们主要测量预测值与真实值之间的误差。误差越小,预测值越接近真实值。由于不同区域的交通情况可能不同,使用绝对误差可能表明模型对相对简单的样本进行过拟合,而平方误差对困难和不可预测的样本惩罚更多,可以更好地表现复杂情况下的性能。因此,我们采用了三个广泛使用的度量:平均绝对误差(MAE)、均方根误差(RMSE)和平均绝对百分比误差(MAPE)来衡量预测模型的性能,它们数值越小,预测效果越好。
MAE = 1 N ∑ i = 1 N | Y − Y ′ | (16)
RMSE = 1 N ∑ i = 1 N ( Y − Y ′ ) 2 (17)
MAPE = 100 % N ∑ i = 1 N | Y − Y ′ Y | (18)
为了评估我们模型的整体性能,我们将STGAL与广泛使用的基线和最先进的模型进行了比较,包括1) HA [
所有基于深度学习的模型,包括我们的STGAL,都是用Python3.8和Pytorch 1.6.0实现的。并在带有一个NVIDIA GTX 2080Ti的GPU服务器上执行。我们使用ADAM优化器对所有模型进行优化,对于超参数,我们将所有模块的隐藏单位设置为64,批量大小设置为16。我们选择均方误差MSE作为模型的损失函数,最初的学习速率设置为0.0005,学习速率的衰减效率设置为0.92。所有深度学习模型的最佳参数都是通过对验证集进行仔细的参数调整来选择的。
将我们的模型与PeMSD4和PeMSD8上的上述七种有代表性的基线方法进行了比较。表2显示了未来一小时即12个预测步长的交通流量预测性能的平均结果。我们可以观察到:1) 基于GCN的方法优于HA、VAR传统的机器学习方法和LSTM深度学习方法,说明了显式建模空间相关性的重要性和GCN在交通流预测任务中的有效性;2) 我们的方法进一步改进了基于GCN的方法,并取得了显著的效果。STGAL对PeMSD4和PeMSD8数据集的MAE和MAPE的现有最好结果进行了5%以上的相对提升,以及对PeMSD4和PeMSD8数据集的RMSE的现有最好结果进行了3%以上的相对提升,特别是对PeMSD4数据集的MAE的现有最好结果有着高达8.76%的相对提升。3) 实验结果表明,STGAL能够更加准确捕捉交通流量序列中的时间和空间相关性,并取得最好的预测效果。
Model | PeMSD4 | PeMSD8 | ||||
---|---|---|---|---|---|---|
MAE | RMSE | MAPE | MAE | RMSE | MAPE | |
HA | 38.03 | 59.24 | 27.88% | 34.86 | 52.04 | 24.07% |
VAR | 23.75 | 36.66 | 18.09% | 23.46 | 36.33 | 15.42% |
LSTM | 26.94 | 41.38 | 17.80% | 22.02 | 33.74 | 13.61% |
DCRNN | 24.48 | 37.86 | 16.75% | 17.83 | 27.78 | 12.42% |
STGCN | 22.06 | 34.80 | 16.20% | 17.88 | 27.63 | 12.30% |
Graph Wave-Net | 22.13 | 33.94 | 16.05% | 17.49 | 26.15 | 12.21% |
ASTGCN | 21.80 | 32.82 | 15.80% | 16.63 | 25.27 | 12.18% |
STGAL (ours) | 19.89 | 31.71 | 14.84% | 15.77 | 24.42 | 11.54% |
Improvements | +8.76% | +3.38% | +6.07% | +5.17% | +3.36% | +5.25% |
表2. STGAL以及基准方法在数据集PeMSD4和PeMSD8上的性能表现
为了进一步研究STGAL不同模块的影响,我们进行了全面的消融研究,我们设计了STGAL模型的四个变体。具体来说1) N-SA:去掉STGAL中的空间注意力模块;2) N-TA:去掉STGAL中的时间注意力模块;3) N-LSTM:去掉STGAL中的长短期记忆网络;4) N-GAT:这里是用标准的图卷积网络来代替我们STGAL中的多头图注意力网络。
我们将这四个变体和STGAL在PeMSD4和PeMSD8上进行实验,如图4、图5所示。我们可以观察到:1) N-TA的各个评价指标都处于最大值,即时间注意力模块对两个数据集的影响最大,说明了用时间注意力来提取交通流长期的动态的时间相关性是非常有必要的。2) 去掉空间注意力模块,STGAL的实验效果明显降低,我们推测其原因是空间注意力提取了交通流的动态空间相关性,符合了现实中交通流动态变化的事实。3) 用标准的图卷积网络代替多头图注意力网络,模型的性能在两个数据集上都表现很差,是因为标准的图卷积网络在卷积计算的过程中共享卷积核参数,使得邻居节点的信息被均匀地聚合到中心节点上,而GAT网络可以对邻域节点进行有区别的信息聚合,它不仅考虑邻域节点的特征和边的权重来生成新的节点表示,而且考虑交通流动态变化的时空模式。4) 与四个变体相比较,STGAL具有最佳的性能。一方面表明了STGAL中各个模块的重要性,另一方面说明了STGAL能够更加准确提取交通流量序列中的时空相关性。
图4. 在PeMSD4上的消融研究
图5. 在PeMSD8上的消融研究
本文提出了一种新颖的面向交通流量预测的时空图注意力网络STGAL。我们使用图注意力网络和长短期记忆网络来提取城市道路中交通流量的静态的时空关系,而且我们使用空间和时间注意力网络来捕捉交通路网节点中动态变化的时空关系。在多步交通预测任务上的大量实验结果证明了STGAL以及它的各个模块的有效性和优越性。在下一步的工作中,我们将会研究所提出的模型是否可以应用于解决其他的时空数据挖掘问题,例如时空车辆轨迹数据的挖掘任务。
云南省软件工程重点实验室开放基金资助项目(2020SE404)。
邓 强,李 彤,苗 晨. 基于时空图注意力网络的交通流量预测Spatial-Temporal Graph Attention Networks for Traffic Flow Forecasting[J]. 计算机科学与应用, 2021, 11(11): 2770-2779. https://doi.org/10.12677/CSA.2021.1111281
https://doi.org/10.1109/TITS.2013.2247040
https://openreview.net/forum?id=SJiHXGWAZ
https://doi.org/10.24963/ijcai.2018/505
https://doi.org/10.24963/ijcai.2019/264
https://doi.org/10.1609/aaai.v33i01.3301922
https://openreview.net/forum?id=rJXMpikCZ
https://doi.org/10.24963/ijcai.2017/559