ARMA(p,q)模型是自回归模型AR(p)和滑动平均模型MA(q)的混合形式，所以它又称为自回归滑动平均混合模型，方程形式为：

Y t = c + ϕ 1 Y t − 1 + ϕ 2 Y t − 2 + ⋯ + ϕ p Y t − p + e t − θ 1 e t − 1 − θ 2 e t − 2 − ⋯ − θ q e t − q (1)

其中，c是常数，是 ϕ 1 , ϕ 2 , ⋯ , ϕ p 自回归模型AR的系数，p是AR的阶数， θ 1 , θ 2 , ⋯ , θ q 是滑动平均模型MA的系数，q是MA的阶数， e t 是均值为0方差为 σ 2 的白噪声序列。

ARMA(p,q)模型只能在的平稳时间序列中应用，对于非平稳的序列，ARMA模型却不再适用，这时就需要引入一个新的模型，即ARIMA模型，ARIMA模型主要解决非平稳的时间序列问题。

{ Y t } 是一个不平稳的时间序列，在d次差分运算后，序列逐渐趋于平稳，就称 { Y t } 是自回归滑动平均求和混合模型。如果差分后的序列 W t = ∇ d Y t 满足ARMA(p,q)模型，就称是ARIMA(p,d,q)过程，模型的方程是：令，有 W t = Y t − Y t − 1 ：

W t = ϕ 1 W t − 1 + ϕ 2 W t − 2 + ⋯ + ϕ p W t − p + e t − θ 1 e t − 1 − θ 2 e t − 2 − ⋯ − θ q e t − q (2)

用序列符号 Y t 来表示：

Y t − Y t − 1 = ϕ 1 ( Y t − 1 − Y t − 2 ) + ϕ 2 ( Y t − 2 − Y t − 3 ) + ⋯ + ϕ p ( Y t − p − Y t − p − 1 )       + e t − θ 1 e t − 1 − θ 2 e t − 2 − ⋯ − θ q e t − q (3)

通过化简可以得到：

Y t = ( 1 + ϕ 1 ) Y t − 1 + ( ϕ 2 − ϕ 1 ) Y t − 2 + ( ϕ 3 − ϕ 2 ) Y t − 3 + ⋯ + ( ϕ p − ϕ p − 1 ) Y t − p − ϕ p Y t − p − 1       + e t − θ 1 e t − 1 − θ 2 e t − 2 − ⋯ − θ q e t − q (4)

称其为模型的差分方程形式。值得注意的是，该表达式看起来是一个ARMA(p + 1,q)过程。

时间序列的平稳化处理：数据的平稳性检验主要包括平稳性检验和白噪声检验两个方面。适用于ARIMA模型分析预测的时间序列必须是平稳非白噪声序列。非平稳的时间序列则需要进行差分处理，直至检验平稳为止。其中，差分的次数就是模型ARIMA(p,d,q)的阶数。一般来说，差分阶数不超过2。

ARMA(p,q)拟合：对于平稳的时间序列而言，可画出序列的自相关图(ACF)和偏自相关图(PACF)进行观察分析，初步判断模型的值，值的选择标准见表1所示。选择的不同ARIMA模型也不同，此时则是根据AIC或BIC准则来评价模型的好坏，当AIC或BIC最小时，ARIMA模型拟合的最好。

表1. ARMA模型的选择原则

通常采用极大似然估计法来估计ARIMA(p,q)模型中的未知参数。

模型检验主要是检验模型对时间序列拟合的好坏，如果拟合的效果很差，就需要重新选择新的模型，直到拟合效果达到最好。模型检验既要对参数的估计值进行检验，又要对残差序列进行检验，如果检验的参数估计值是显著的并且残差序列是白噪声序列，则模型通过检验，说明模型的拟合效果很好，如若不是，则需要重新选择模型使其通过检验。通常采用Ljung-Box统计量检验的方法来判断残差序列是否为白噪声。

根据模型检验和比较的最后结果，利用所构建的ARIMA(p,d,q)模型，用R软件中的预测功能对模型进行预测，得到原始时间序列图的将来变化趋势，对比预测的数值和实际的数值进行误差分析，进一步验证模型是可行的。具体的ARIMA(p,d,q)建模流程图见图1所示。

图1. ARIMA建模流程图

本文从《中国知网》中搜集到重庆1979年至今的国内生产总值，数据见表2所示。根据1979~2019年的重庆GDP数据，画出时间序列图，见图2所示。

表2. 1979~2019年的重庆GDP数据

图2. 1979~2019年重庆GDP的时间序列图

从图2可以看出，近30年来重庆国内生产总值呈现指数型增长，并没有出现周期性和季节性的波动，可初步判断此序列属于非平稳序列。针对这个时间序列进行ADF单位根检验，可以得到 p = 0.99 , p > 0.05 ，因此这个时间序列是非平稳的。对这个非平稳的序列进行第一次差分，得到一次差分后的折线图见图3所示，图中有明显的增长趋势，初步说明序列是不平稳的，在进行单位根检验后，得到， p > 0.05 进一步证明序列是不平稳的。这时需要进行第二次差分，得到二次差分后的折线图见图4所示，从图4可以看出序列是围绕0值上下波动的，但还是需要进行单位根检验来加以证明，最后得到 p < 0.05 ，证明了此时的时间序列是平稳的。因此认为ARIMA(p,d,q)中 d = 2 。

图3. 一阶差分GDP折线图

图4. 二阶差分GDP折线图

从上述分析得到，二次差分后的重庆GDP序列是平稳的，画出二次差分后序列的自相关PACF图见图5所示，偏自相关ACF图见图6所示。

图5. 二阶差分后的自相关图

图6. 二阶差分后的偏自相关图

从图5可看出，自相关系数都在2倍标准差范围内，并且是逐渐趋于零的；从图6可看出，偏自相关系数显示拖尾，所以选取 p = 0 , q = 2 ，但是这样估计的模型具有很大的主观性，同时建立多个ARIMA模型以消除误差，分别选择：ARIMA(0,2,0)，ARIMA(0,2,1)，ARIMA(0,2,2)，ARIMA(1,2,1)，ARIMA(1,2,2)，得到每个模型的AIC值或BIC值见表3所示，从表3中观察到，ARIMA(0,2,2)模型的AIC值或BIC值最小，因此该模型是最好的。

表3. ARIMA模型的比较

接下来我们对模型ARIMA(0,2,2)进行检验，ARIMA(0,2,2)模型检验表见表4所示。

表4. ARIMA(0,2,2)模型检验表

注：^***、^**、^*分别代表1%、5%、10%的显著性水平。

表4中展示本次模型检验结果，包括样本数、自由度、Q统计量和信息准则模型的拟合优度。ARIMA模型要求模型的残差不存在自相关性，即模型残差为白噪声，查看模型检验表，根据Q统计量的Q值(p值大于0.1为白噪声)对模型白噪声进行检验；R²代表时间序列的拟合程度，越接近1效果越好。

根据ARIMA(0,2,2)模型检验表，基于字段：GDP (亿元)，从Q统计量结果分析可以得到：Q6在水平上不呈现显著性，不能拒绝模型的残差为白噪声序列的假设，同时模型的拟合优度R²为0.997，模型表现优秀，模型基本满足要求。

可知对ARIMA(0,2,2)模型的残差进行白噪声检验，如果统计量的p值大于给定的显著性水平，则模型检验通过可以用来预测。此外利用R软件，得到p值也显著大于0.05，因此模型通过检验，可以用来预测。下面我们将给出ARIMA(0,2,2)模型残差自相关图(ACF)见图7所示，残差偏自相关图(PACF)见图8所示。

从图7展示了模型的残差自相关图(ACF)，包括系数，置信上限和置信下限。横轴代表延迟数目，纵轴代表自相关系数；若相关系数均在虚线内，自回归模型(AR)残差为白噪声序列，时间序列要求模型残差为白噪声序列。

图8展示了模型的残差偏自相关图(PACF)，包括系数，置信上限和置信下限。若相关系数均在虚线内，滑动平均模型(MA)残差为白噪声序列，时间序列要求模型残差为白噪声序列。综合上述图7和图8的分析可见，模型ARIMA(0,2,2)的残差是白噪声序列。接下来给出ARIMA(0,2,2)模型的参数表见表5所示。

图7. ARIMA(0,2,2)模型残差自相关图(ACF)

图8. ARIMA(0,2,2)模型残差偏自相关图(PACF)

表5. ARIMA(0,2,2)模型参数表

表5展示本次模型参数结果，包括模型的系数、标准差，T检验结果等，用于分析模型公式。基于字段GDP (亿元)，根据模型ARIMA模型(0,2,2)检验表且基于2差分数据，模型公式如下：

y ( t ) = 54.27 − 1.015 ∗ y ( t − 1 ) + 0.435 ∗ y ( t − 2 ) (5)

我们给出了ARIMA(0,2,2)时间序列图，见图9所示，表示了该时间序列模型的原始数据图、模型拟合值、模型预测值。我们还用ARIMA(0,2,2)时间序列模型预测最近4期数据，并将预测情况列于预测表中，见表6所示。

图9. ARIMA(0,2,2)时间序列图

表6. ARIMA(0,2,2)时间序列预测表

此外为了更加客观的确定 p , d , q ,还采用forecast包中的auto.arima()可以自动尝试不同的阶数组合并挑选出可能的最优模型。得到模型ARIMA(0,2,1)，ARIMA(0,2,1)模型的基本指标见表7所示，ARIMA(0,2,1)模型检验表见表8所示。

在表8中展示本次模型检验结果，根据模型ARIMA模型(0,2,1)检验表，基于字段：GDP(亿元)，从Q统计量结果分析可以得到：Q6在水平上不呈现显著性，不能拒绝模型的残差为白噪声序列的假设，同时模型的拟合优度R²为0.996，模型表现优秀，模型基本满足要求。对ARIMA(0,2,1)模型的残差进行白噪声检验，得到p值也显著大于0.05，因此模型通过检验，可以用来预测。

表7. ARIMA(0,2,1)模型

表8. ARIMA(0,2,1)模型检验表

注：^***、^**、^*分别代表1%、5%、10%的显著性水平。

另外，我们还给出了模型的残差自相关图(ACF)和残差偏自相关图(PACF)。ARIMA(0,2,1)模型残差自相关图(ACF)见图10所示，ARIMA(0,2,1)模型残差偏自相关图(PACF)见图11所示。综合分析图10和图11可见，模型ARIMA(0,2,1)的残差是白噪声序列。

图10. ARIMA(0,2,1)模型残差自相关图(ACF)

图11. ARIMA(0,2,1)模型残差偏自相关图(PACF)

下面给出ARIMA(0,2,1)模型检验表见表9所示。

表9. ARIMA(0,2,1)模型检验表

注：^***、^**、^*分别代表1%、5%、10%的显著性水平。

表9展示本次模型参数结果分析：基于字段GDP (亿元)，根据模型ARIMA模型(0,2,1)检验表且基于2差分数据，模型公式如下：

y ( t ) = 56.909 − 0.681 ∗ y ( t − 1 ) (6)

给出了ARIMA(0,2,1)时间序列图，见图12所示，表示了该时间序列模型的原始数据图、模型拟合值、模型预测值。我们还用ARIMA(0,2,1)时间序列模型预测最近4期数据，并将预测情况列于预测表中，见表10所示。

图12. 时间序列图

表10. ARIMA(0,2,2)时间序列预测表

利用通过检验的ARIMA(0,2,2)模型，预测2020年和2021年的重庆GDP，预测结果见表11所示。

表11. ARIMA(0,2,2)预测值与实际值的比较

根据相对误差计算公式：相对误差 = (测量值 − 真实值)/真实值 × 100%，可得2020年、2021年GDP的相对误差值分别为0.44%和−2%。

利用通过检验的ARIMA(0,2,1)模型，预测2020年和2021年的重庆GDP，预测结果见表12所示。

Table12. ARIMA (0,2,1) comparison of predicted and actual values

表12. ARIMA(0,2,1)预测值与实际值的比较

根据相对误差计算公式可得2020年、2021年GDP的相对误差值分别为3.17%和0.3%。

经过ARIMA(0,2,2)模型和ARIMA(0,2,1)模型的AIC和BIC的以及相对误差比较，最终选择模型ARIMA(0,2,2)。当然，在前面的AIC和BIC比较时就可以选择模型ARIMA(0,2,2)。

可以看出该模型预测短时间内的值是比较准确的。1979年至2000年的GDP增长还比较的平缓，但是从2000年到2019年重庆的GDP增长是非常迅速的。随着预测时间周期的延长，预测的误差会逐渐增大。用得到的模型预测重庆2022年和2023年的GDP，预测的结果分别为29581.2亿元和31815.46亿元。但是由于2022年仍然存在新冠肺炎疫情的影响，2022年的GDP肯定会受到影响，所以预测出来的数据只能作为参考作用。

神经网络是机器学习中一种常见的数学模型，通过构建类似于大脑神经突触联接的结构，来进行信息处理 [12] 。在应用神经网络的过程中，处理信息的单元一般分为三类：输入单元、输出单元和隐含单元。除了上述三个处理信息的单元之外，神经元间的连接强度大小由权值等参数来决定。

单步预测模型结构：

y ( t ) = f ( y ( t − n ) , y ( t − n + 1 ) , ⋯ , y ( t − 1 ) ) (7)

即：每一次取若干个历史点，只能往后推一步，此外还有多步预测结构，此处我们假设每 n = 5 ，即每5个时刻便会影响下一个时刻的值；每个时刻的数据是历史5个时刻的数据(预测第六个数据，是时刻1~5的数据)，步长为5。

此处我们采用这五个评价指标来进行分析:平均绝对误差MAE，均方误差MSE，均方根误差RMSE，平方相对误差MAPE，决定系数R²。

1) 平均绝对误差MAE：全称是Mean Absolute Error，它表示预测值和观测值之间绝对误差的平均值。公式如下

MAE = ∑ i | y i − y ^ i | N (8)

2) 均方误差MSE：全称是Mean Absolute Error，预测数据和原始数据对应点误差的平方和的均值。公式如下

MSE = ∑ i ( y i − y ^ i ) 2 N (9)

3) 均方根误差RMSE：全称是Root Mean Square Error，它表示预测值和观测值之间差异(称为残差)的样本标准差。公式如下

RMSE = ∑ i ( y i − y ^ i ) 2 N (10)

4) 平方相对误差MAPE：全称是Mean Absolute Percentage Error，是相对误差度量值，它使用绝对值来避免正误差和负误差相互抵消，可以使用相对误差来比较各种时间序列模型预测的准确性。公式如下

MAPE = ∑ i | y i − y ^ i y i | N (11)

5) 决定系数：R² (coefficient of determination)，也称为判定系数或拟合优度。公式如下

R 2 = 1 − SSE SST = 1 − ∑ i ( y i − y ¯ i ) 2 ∑ i ( y i − y ^ i ) 2 (12)

由此，我们根据上述五个评价指标来分析基于BP神经网络预测时间序列模型，并将评价指标数值列于表中，见表13所示。

表13. 基于BP神经网络预测时间序列模型的评判标准

决定系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。当R²越接近1时，表示相关的方程式参考价值越高；相反越接近0时，表示参考价值越低。对时间序列数据，判定系数达到0.9以上是很平常的，在表13中我们可以看出决定系数R²为0.94297，虽然说与模型ARIMA(0,2,2)相比较，拟合优度不及模型ARIMA(0,2,2)的拟合优度，但是效果也很不错。平方相对误差MAPE为0.083844，不到百分之十，一般而言，平方相对误差在百分之十一下效果良好，可见的基于BP神经网络预测时间序列模型的效果也很不错。

在对单变量序列进行建模之前，必须先进行准备。MLP模型将学习将过去的观测序列作为输入映射到输出观测的函数。因此，必须将观察序列转换成可以从中学习模型的多个样本。假设有如下单变量序列，即使1979年~2019年重庆GDP数据集，我们可以将序列分为多个称为样本的输入/输出模式，其中三个时间步长用作输入，一个时间步长用作输出，用于单步预测。

一个简单的MLP模型具有单个隐藏的节点层和一个用于进行预测的输出层。每个样本的输入维度在第一个隐藏层定义的input dim参数中指定。从技术上讲，模型将把每个时间步看作一个单独的特征，而不是单独的时间步。

定义模型，模型期望训练数据的输入部分具有维度或形状。split_sequence()函数输出X的形状可用于建模。利用随机梯度下降算法Adam进行拟合，使用均方误差损失函数进行优化和训练。

在模型拟合后，可进行预测。通过输入重庆GDP连续三年的数据预测下一年的重庆GDP数据来预测序列中的下一个值。该模型期望输入形状是二维的，因此，在进行预测之前，必须重塑单个输入样本。

将基于MLP模型时间序列预测数值，以及根据相对误差计算公式：相对误差 = (测量值 − 真实值)/真实值 × 100%，所求得的相对误差见表14所示。

表14. 基于MLP模型时间序列预测表

本文对重庆1979年至2021年的42个数GDP据进行了分析，选取前面40个GDP数据用来建模，并用后2年的数据来检验模型的效果，预测2022年和2023年的GDP。

将序列分成多个输入/输出模式，称为样本，其中三个时间步作为输入，一个时间步作为输出，并据此来预测一个时间步的输出值。通过一个split_sequence()函数来实现上述操作，该函数可以将给定的单变量序列拆分为多个样本，其中每个样本具有指定数量的时间步，并且输出是单个时间步。

CNN模型有一个卷积隐藏层，在一维序列上工作。在某些情况下，这之后可能是第二卷积层，例如非常长的输入序列，然后是池化层，其任务是将卷积层的输出提取到最显著的元素。卷积层和池化层之后是全连接层，用于解释模型卷积部分提取的特征。在卷积层和全连接层之间使用展平层将特征映射简化为一个一维向量。

模型的关键是输入形状参数；这是模型在时间步数和特征数方面期望作为每个样本的输入。我们使用的是一个单变量序列，因此特征数为1。时间步数是在划分数据集时split_sequence()函数的参数中定义。

每个样本的输入形状在第一个隐藏层定义的输入形状参数中指定。因为有多个样本，因此，模型期望训练数据的输入维度或形状为：[样本，时间步，特征]。split_sequence()函数输出的训练数据X的形状为[样本，时间步]，因此应对X重塑形状，增加一个特征维度，以满足CNN模型的输入要求。

CNN实际上并不认为数据具有时间步，而是将其视为可以执行卷积读取操作的序列。我们定义了一个卷积层，接下来是一个最大池化层和一个全连接层来解释输入特性。最后，输出层预测单个数值。该模型利用有效的随机梯度下降进行拟合，利用均方误差损失函数进行优化。处理好训练数据和定义完模型之后，接下来开始训练，

在模型拟合后，可以利用它进行预测。假设输入2017~2019年的GDP数据来预测序列中的下一个值。该CNN模型期望输入形状是三维的，形状为[样本、时间步、特征]，因此，在进行预测之前，必须重塑单个输入样本为三维形状。将基于CNN模型时间序列预测数值，以及根据相对误差计算公式所求得的相对误差见表15所示。

表15. 基于CNN模型时间序列预测表

单变量LSTM模型(Univariate LSTM Models)，LSTMs可用于单变量时间序列预测问题的建模。这些问题由单个观测序列组成，需要一个模型从过去的观测序列中学习，以预测序列中的下一个值。下文将演示重庆GDP一元时间序列预测的LSTM模型。分为以下五个部分：该5种LSTM模型都可用于单时间步单变量时间序列预测。

1) Vanilla LSTM是一个LSTM模型，它有一个单隐层的LSTM单元和一个用于预测的输出层。与CNN读取整个输入向量不同，LSTM模型一次读取序列的一个时间步，并建立一个内部状态表示，来学习上下文信息，从而进行预测。

2) Stacked LSTM即堆叠LSTM，可以将多个LSTM层堆叠在一起。LSTM层需要三维输入，LSTM的默认输出为二维，可以通过设置参数使得LSTM的输出形状为三维。这样就可以作为下一层的输入。

3) Bidirectional LSTM，在一些序列预测问题上，允许LSTM模型向前和向后学习输入序列，并将两种解释连接起来是有益的。这称为双向LSTM。我们可以通过将第一个隐藏层包装在一个称为双向的包装层中来实现用于单变量时间序列预测的双向LSTM。

4) CNN-LSTM，CNN可以非常有效地从一维序列数据(如单变量时间序列数据)中自动提取和学习特征。CNN模型可用于具有LSTM后端的混合模型中，其中CNN用于解释输入的子序列，这些子序列作为一个序列提供给LSTM模型来解释。这种混合模型称为CNN-LSTM。

5) ConvLSTM，输入的卷积读取直接构建到每个LSTM单元中。该方法可用于单变量时间序列预测。

在对单变量序列建模之前，必须做好准备。LSTM模型学习一个映射规则，该规则以过去的序列观测值作为输入，然后输出预测值。因此，观测序列必须转换LSTM可以学习的多个样本。考虑一个单变量序列即重庆GDP的观测值，将序列分成多个输入/输出模式，称为样本，其中三个时间步(的观测值)作为输入，一个时间步(的观测值)作为输出，数据集构建好之后，定义网络模型，进行训练。

为了方便比较基于单变量LSTM模型时间序列预测数值，以及根据相对误差计算公式所求得的相对误差见表16所示。

表16. 基于单变量LSTM模型时间序列预测表