m阶可微函数 $f\left(x\right)$的Caputo分数阶导数定义为以下形式：

${}_a{D}_x^{\alpha }f\left(x\right)=\frac{1}{\Gamma \left(m-\alpha \right)}{\displaystyle {\int }_a^x\frac{{\text{d}}^{m}f\left(\tau \right)}{\text{d}{\tau }^m}\cdot {\left(x-\tau \right)}^{m-\alpha -1}\text{d}\tau },\left(m-1<\alpha <m\right)$(1)

其中，a表示固定的积分下界， $\alpha$为分数阶阶次，m是正整数， $\Gamma (\cdot )$表示gamma函数。

进一步，若 $f\left(x\right)$拥有泰勒展开式，那么将泰勒展开式代入(1)式右端再进行分部积分处理则可以得到：

${}_a{D}_x^{\alpha }f\left(x\right)={\displaystyle \underset{i=m}{\overset{\infty }{\sum }}\frac{\Gamma \left(\alpha -m+1\right)}{\Gamma \left(i-m+1\right)\Gamma \left(\alpha -i+1\right)}\cdot \frac{{\text{d}}^{i}f\left(x\right)}{\text{d}{x}^i}\cdot \frac{{\left(x-a\right)}^{i-\alpha }}{\Gamma \left(i-\alpha +1\right)}}$(2)

普通的梯度下降法可表示成以下形式：

$x_{t+1}=x_t-\eta \cdot \nabla f\left(x_t\right)$(3)

其中， $\eta$表示学习率， $\nabla f\left(x\right)$为 $f\left(x\right)$在x处的梯度。

为了构造分数阶梯度下降法，则需要使用分数阶导数指导参数下降。当 $0<\alpha <1$时，(2)式的具体形式为：

${}_a{D}_x^{\alpha }f\left(x\right)={\displaystyle \underset{i=1}{\overset{\infty }{\sum }}\frac{{\text{d}}^{i}f\left(x\right)}{\text{d}{x}^i}\cdot \frac{{\left(x-a\right)}^{i-\alpha }}{\Gamma \left(i-\alpha +1\right)}}$(4)

在面对诸如神经网络等较复杂的应用场景时，二阶及以上的导函数计算将十分占用计算资源，严重减慢参数的更新速度，因此只取 $i=1$一项，即：

${}_a{D}_x^{\alpha }f\left(x\right)=\frac{{\left(x-a\right)}^{1-\alpha }}{\Gamma \left(2-\alpha \right)}\cdot \frac{\text{d}f\left(x\right)}{\text{d}x}$(5)

此时，分数阶梯度下降法可表示为：

$x_{t+1}=x_t-\eta \cdot {}_{a}D{}_x^{\alpha }f\left(x_t\right)=x_t-\eta \cdot \frac{{\left(x_t-a\right)}^{1-\alpha }}{\Gamma \left(2-\alpha \right)}\cdot \frac{\text{d}f\left(x\right)}{\text{d}{x}_t}$(6)

然而，该分数阶梯度算法仍有缺陷，蒲亦非团队 [10] 的实验结果表明固定的积分下界a会导致(6)式无法收敛到真实的极值点，因此需要设计随着迭代过程自适应调整的积分下界 $a_t$。考虑到在参数迭代过程中参数值是不断变化的，因此使 $a_t$与历史参数值相关联不失为一种简单可行的方法，例如，可取 $a_t=x_{t-1}$。但是，当 $x_{t-1}>x_t$时， ${\left(x_t-x_{t-1}\right)}^{1-\alpha }$可能不再是一个正整数，这会阻碍参数的迭代，所以， $a_t$应严格满足 $a_t<x_t$。为了满足这一要求，本文做出以下修改，即：

$a_t=\{\begin{array}{l}{x}_{t-1}-c,x_{t-1}\le x_t\\ 2x_t-x_{t-1}-c,x_{t-1}>x_t\end{array}$(7)

其中，c为一固定的常数。当 $x_{t-1}\le x_t$时， $a_t=x_{t-1}-c$，在 $x_{t-1}=x_t$的情况下，这将避免迭代过程陷入停滞，当 $x_{t-1}>x_t$时， $a_t=2x_t-x_{t-1}-c$，其中， $2x_t-x_{t-1}$是 $x_{t-1}$关于 $x_t$的对称点，这使得每一次迭代时区间长度在形式上保持一致。将 $a_t$替换(2.6)式中的a，就得到了本文的分数阶梯度下降法：

$x_{t+1}=x_t-\eta \cdot {}_{x_{t-1}}D{}_{x_t}^{\alpha }f\left(x\right)$(8)

其中，

${}_{x_{t-1}}D{}_{x_t}^{\alpha }f\left(x\right)=\frac{{\left(\left|x_t-x_{t-1}\right|+c\right)}^{1-\alpha }}{\Gamma \left(2-\alpha \right)}\cdot \frac{\text{d}f\left(x\right)}{\text{d}{x}_t}$(9)

观察(9)的形式可以发现，当 $1\le \alpha <2$时，该算法仍旧可以更新参数，且当 $\alpha =1$时退化为普通的梯度下降法，因此，该算法成功将阶次选择范围扩大至(0, 2)区间。

一般来说，使用梯度下降方法训练神经网络模型的过程可视作一个在线学习过程，在t时刻，优化器从解空间 $\Omega$中选取一个解 ${\theta }_t$，同时人为地选取一个损失函数 $L_t(\cdot )$，之后优化器根据损失函数更新模型并获得下一个时刻的解 ${\theta }_{t+1}$。遗憾函数是评价在线学习模型的常用指标，其数学表达形式为：

$R\left(T\right)={\displaystyle \underset{t=1}{\overset{T}{\sum }}\left[L_t\left({\theta }_t\right)-L_t\left({\theta }^{*}\right)\right]}$(10)

其中， ${\theta }^{*}=\arg {\min }_{\theta \in \Omega }{\displaystyle \underset{t=1}{\overset{T}{\sum }}{L}_t\left(\theta \right)}$。遗憾函数衡量了T时刻后模型累积的损失与理想模型损失之间的差值，

差值越小，则训练模型越接近理想模型，在线学习的目的是最小化积累的损失，最小化损失就等价于最小化遗憾。在线学习算法通常希望达到次线性的遗憾，即：

$\underset{T\to \infty }{\lim }\frac{R\left(T\right)}{T}\to 0$(11)

具备次线性遗憾的算法也被称为满足Hannan一致性 [14] 。

定理1 给定 $\left\{{\theta }_t\right\}$为使用分数阶梯度下降法训练神经网络得到的每一步的迭代结果，那么分数阶梯度算法具有次线性遗憾如果其满足如下假设：

1) 损失函数为凸函数；

2) $\Vert {}_{{\theta }_{t-1}}D{}_{{\theta }_t}^{\alpha }L\left({\theta }_t\right)\Vert \le G$，即任一参数的分数阶梯度有界；

3) 对于解空间 $\Omega$中任意的两个参数 ${\theta }_m,{\theta }_n$，有 $\Vert {\theta }_m-{\theta }_n\Vert \le D$；

4) $\Vert {}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\Vert \le 1$，即限制分数阶梯度的大小。

证明过程如下：

在凸函数假设下，有：

$\begin{array}{c}{L}_t\left({\theta }_t\right)-L_t\left({\theta }^{*}\right)\le {\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\text{d}{L}_t\left({\theta }_t\right)}{\text{d}{\theta }_{t,i}}\cdot \left({\theta }_{t,i}-{\theta }_i^{*}\right)}\\ \le {\displaystyle \underset{i=1}{\overset{d}{\sum }}\Gamma \left(2-\alpha \right)\cdot {\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}{}_{{\theta }_{t-1,i}}D{}_{{\theta }_{t,i}}^{\alpha }{L}_t\left({\theta }_t\right)\cdot \left({\theta }_{t,i}-{\theta }_i^{*}\right)}\end{array}$(12)

根据更新公式 ${\theta }_{t+1,i}={\theta }_{t,i}-{\eta }_t\cdot {}_{{\theta }_{t-1,i}}D{}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)$，其中， ${\eta }_t=\frac{\eta }{\sqrt{t}}$，可以得到：

${}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\cdot \left({\theta }_{t,i}-{\theta }_i^{*}\right)=\frac{1}{2{\eta }_t}\left[{\left({\theta }_{t,i}-{\theta }_i^{*}\right)}^2-{\left({\theta }_{t+1,i}-{\theta }_i^{*}\right)}^2\right]+\frac{{\eta }_t}{2}{\left[{}_{{\theta }_{t-1,i}}D{}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right]}^2$(13)

因此，

$\begin{array}{c}R\left(T\right)={\displaystyle \underset{t=1}{\overset{T}{\sum }}\left[L\left({\theta }_t\right)-L\left({\theta }^{*}\right)\right]}\\ \le {\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}\left[{\left({\theta }_{t,i}-{\theta }_i^{*}\right)}^2-{\left({\theta }_{t+1,i}-{\theta }_i^{*}\right)}^2\right]\\ +{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{{\eta }_t\Gamma \left(2-\alpha \right)}{2}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left[{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right]}^2\end{array}$(14)

首先处理第一部分，

$\begin{array}{c}{\Delta }_1={\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}\left[{\left({\theta }_{t,i}-{\theta }_i^{*}\right)}^2-{\left({\theta }_{t+1,i}-{\theta }_i^{*}\right)}^2\right]\\ ={\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left({\theta }_{t,i}-{\theta }_i^{*}\right)}^2\\ -{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left({\theta }_{t+1,i}-{\theta }_i^{*}\right)}^2\\ ={\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2\eta }{\left(\left|{\theta }_{1,i}-{\theta }_{0,i}\right|+c\right)}^{\alpha -1}}{\left({\theta }_{1,i}-{\theta }_i^{*}\right)}^2\\ +{\displaystyle \underset{t=2}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left({\theta }_{t,i}-{\theta }_i^{*}\right)}^2\\ -{\displaystyle \underset{t=1}{\overset{T-1}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left({\theta }_{t+1,i}-{\theta }_i^{*}\right)}^2\\ -{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\sqrt{T}\cdot \Gamma \left(2-\alpha \right)}{2\eta }{\left(\left|{\theta }_{T,i}-{\theta }_{T-1,i}\right|+c\right)}^{\alpha -1}}{\left({\theta }_{T+1,i}-{\theta }_i^{*}\right)}^2\end{array}$(15)

由于最后一项恒为负值，因此可以对 ${\Delta }_1$进行放缩处理，即：

$\begin{array}{c}{\Delta }_1\le {\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2\eta }{\left(\left|{\theta }_{1,i}-{\theta }_{0,i}\right|+c\right)}^{\alpha -1}}{\left({\theta }_{1,i}-{\theta }_i^{*}\right)}^2+{\displaystyle \underset{t=2}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left({\theta }_{t,i}-{\theta }_i^{*}\right)}^2\\ -{\displaystyle \underset{t=1}{\overset{T-1}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left({\theta }_{t+1,i}-{\theta }_i^{*}\right)}^2\\ ={\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)}{2\eta }{\left(\left|{\theta }_{1,i}-{\theta }_{0,i}\right|+c\right)}^{\alpha -1}}{\left({\theta }_{1,i}-{\theta }_i^{*}\right)}^2\\ +{\displaystyle \underset{t=2}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\left[\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}-\frac{\Gamma \left(2-\alpha \right)}{2{\eta }_{t-1}}{\left(\left|{\theta }_{t-1,i}-{\theta }_{t-2,i}\right|+c\right)}^{\alpha -1}\right]}}\cdot {\left({\theta }_{t,i}-{\theta }_i^{*}\right)}^2\end{array}$(16)

将假设(3)代入(16)式中，可得：

$\begin{array}{c}{\Delta }_1\le {\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)\cdot D^2}{2\eta }{\left(\left|{\theta }_{1,i}-{\theta }_{0,i}\right|+c\right)}^{\alpha -1}}\\ +{\displaystyle \underset{t=2}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\left[\frac{\Gamma \left(2-\alpha \right)\cdot D^2}{2{\eta }_t}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}-\frac{\Gamma \left(2-\alpha \right)\cdot D^2}{2{\eta }_{t-1}}{\left(\left|{\theta }_{t-1,i}-{\theta }_{t-2,i}\right|+c\right)}^{\alpha -1}\right]}}\\ ={\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)\cdot D^2\sqrt{T}}{2\eta }}{\left(\left|{\theta }_{T,i}-{\theta }_{T-1,i}\right|+c\right)}^{\alpha -1}\end{array}$(17)

当 $0<\alpha <1$时， ${\left(\left|{\theta }_{T,i}-{\theta }_{T-1,i}\right|+c\right)}^{\alpha -1}\le c^{\alpha -1}$，

当 $1\le \alpha <2$时， ${\left(\left|{\theta }_{T,i}-{\theta }_{T-1,i}\right|+c\right)}^{\alpha -1}\le {\left(2D+c\right)}^{\alpha -1}$，

定义 $M\triangleq \max \left\{c^{\alpha -1},{\left(2D+c\right)}^{\alpha -1}\right\}$，则 ${\left(\left|{\theta }_{T,i}-{\theta }_{T-1,i}\right|+c\right)}^{\alpha -1}\le M$，因此：

$\begin{array}{c}{\Delta }_1\le {\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{\Gamma \left(2-\alpha \right)\cdot D^2\sqrt{T}}{2\eta }}{\left(\left|{\theta }_{T,i}-{\theta }_{T-1,i}\right|+c\right)}^{\alpha -1}\\ \le \frac{\Gamma \left(2-\alpha \right)\cdot D^{2}dM\sqrt{T}}{2\eta }\end{array}$(18)

到此为止就完成了第一部分的处理，对于第二部分，

由于梯度裁剪， $\left|{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right|\le 1$，有：

${\left[{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right]}^2=\left|{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right|\cdot \left|{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right|\le \left|{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right|$(19)

因此，

$\begin{array}{c}{\Delta }_2={\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{{\eta }_t\Gamma \left(2-\alpha \right)}{2}{\left(\left|{\theta }_{t,i}-{\theta }_{t-1,i}\right|+c\right)}^{\alpha -1}}}{\left[{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right]}^2\\ \le \frac{\eta M\Gamma \left(2-\alpha \right)}{2}{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\displaystyle \underset{i=1}{\overset{d}{\sum }}\frac{1}{\sqrt{t}}}}\cdot {\left[{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right]}^2\\ \le \frac{\eta M\Gamma \left(2-\alpha \right)}{2}{\displaystyle \underset{i=1}{\overset{d}{\sum }}{\displaystyle \underset{t=1}{\overset{T}{\sum }}\frac{1}{\sqrt{t}}}}\cdot \left|{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right|\end{array}$(20)

由于

$\begin{array}{c}{\displaystyle \underset{t=1}{\overset{T}{\sum }}\frac{1}{\sqrt{t}}}\cdot \left|{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right|\le \sqrt{{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\left(\frac{1}{\sqrt{t}}\right)}^2}}\cdot \sqrt{{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\left|{}_{{\theta }_{t-1,i}}{D}_{{\theta }_{t,i}}^{\alpha }L\left({\theta }_t\right)\right|}^2}}\\ \le \sqrt{1+\ln T}\cdot D_{{\theta }_{1,i}:{\theta }_{T,i}}^{\alpha }L\end{array}$(21)

其中，

$\begin{array}{c}{\displaystyle \underset{i=1}{\overset{d}{\sum }}{D}_{{\theta }_{1,i}:{\theta }_{T,i}}^{\alpha }L}\le \sqrt{d}\cdot \sqrt{{\displaystyle \underset{i=1}{\overset{d}{\sum }}{\left(D_{{\theta }_{1,i}:{\theta }_{T,i}}^{\alpha }L\right)}^2}}\\ =\sqrt{d}\cdot \sqrt{{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\Vert {}_{{\theta }_{t-1}}{D}_{{\theta }_t}^{\alpha }L\left({\theta }_t\right)\Vert }^2}}\\ \le \sqrt{d}\cdot \sqrt{T\cdot G^2}\\ =\sqrt{d}G\cdot \sqrt{T}\end{array}$(22)

因此可以得到：

${\Delta }_2\le \frac{\sqrt{d}G\eta M\Gamma \left(2-\alpha \right)}{2}\sqrt{1+\ln T}\cdot \sqrt{T}$(23)

综合以上讨论，本文对遗憾函数做出如下估计：

$\begin{array}{c}\frac{R\left(T\right)}{T}\le \frac{\frac{\Gamma \left(2-\alpha \right)\cdot D^{2}dM}{2\eta }\sqrt{T}+\frac{\sqrt{d}G\eta M\Gamma \left(2-\alpha \right)}{2}\sqrt{1+\ln T}\cdot \sqrt{T}}{T}\\ =\frac{\Gamma \left(2-\alpha \right)\cdot D^{2}dM}{2\eta }\cdot \frac{1}{\sqrt{T}}+\frac{\sqrt{d}G\eta M\Gamma \left(2-\alpha \right)}{2}\cdot \frac{\sqrt{1+\ln T}}{\sqrt{T}}\\ \to 0\end{array}$(24)

根据(11)可知，分数阶梯度下降法具有次线性的遗憾。

本文采用的数据集为CIFAR-10，是由Alex Krizhevshy和IIya Sutskever整理的一个用于识别现实物体的小型数据集。CIFAR-10中的每张图像都是32 × 32尺寸的三通道彩色图片，共有10个类别，每个类别分别拥有5000张训练图像以及1000张测试图像，所以整个数据集共有60,000张图像用于模型训练及测试。由于该数据集中的图像均源于现实中的真实物体，不仅图像噪声大，而且它们之间的特征差别很大，这为图像识别带来了巨大的困难，因此CIFAR-10成为了检验新模型与新算法的基准数据集。

卷积神经网络是专门处理与图像相关任务的深度网络结构，ResNet正是CNN的一种，它通过添加快捷连接解决了深层网络难以训练的问题。本文采用的卷积神经网络模型为ResNet18，它的网络深度为18，共包含了17个卷积层和1个全连接层，第一个卷积层将图像的通道拓展到64通道，余下的16个卷积层组成了4个残差块，每个残差块有4个卷积层，第一个残差块保持输入输出图像尺寸不变，而其它3个残差块则会使输入图像通道数翻倍，尺寸减半，最后的全连接层用于预测图像的类别。为了使得每层输出与输入的方差保持一致，网络参数均采用Xavier初始化。

本实验的主要超参数有分数阶梯度算法的阶次 $\alpha$，学习率 $\eta$，常数c以及训练轮次T。每次实验中，常数及轮次均被设置为固定值，即 $c=0.01$， $T=100$， $\alpha$和 $\eta$取非固定值，这可以体现阶次对算法的影响以及算法对学习率的敏感程度。

表1 和 表2 展示了学习率设置为0.02、0.1、0.5、1.0和1.5的情况下不同阶次的算法的运行结果，从表中可以看出：

1) 当学习率较小时，一般来说，随着阶次的增大，训练集的误差也在不断减小，而当学习率较大时，较大的阶次则会导致学习过程的不稳定。因此较小的学习率匹配更高的阶次，较大的学习率匹配较小的阶次

2) 学习率为0.02时，普通的梯度下降法达到了85.19%的训练集精度和80.14%的测试集精度，在设置阶次为1.8的情况下，两者分别上升到了98.514%和87.92%。学习率为0.1时，普通的梯度下降法达到了98.016%的训练集精度和88.22%的测试集精度，在设置阶次为1.9的情况下，两者分别上升到了99.562%和90.04%。当学习率较大时，虽然分数阶算法的优势有所下降，但是最优的分数阶算法仍在学习率取1.0和1.5的情况下，相较于普通的梯度算法分别提升了1.36%和0.54%的测试集精度，这说明分数阶梯度下降法在一定条件下拥有更强的搜索能力，可以提高模型的拟合程度和泛化能力。

图1⁓3 给出了取不同学习率时整数阶梯度下降算法与最优的分数阶梯度下降算法的训练集误差和测试集精度的对比，注意到当 $\alpha =1$时分数阶梯度下降算法退化为整数阶梯度下降算法。从 图1 和 图2 可以看出，当学习率较小时，虽然在前期训练中分数阶算法的表现可能逊于整数阶算法，但是在后期训练中分数阶算法的性能便超越了整数阶算法，在整个训练过程中表现出了更快的收敛速度，并且取得了更高的精度。当学习率较大时， 图3 表明虽然普通的梯度下降法在收敛速度方面与分数阶算法表现相当，但是在选择合适阶次的情况下，分数阶算法往往能取得更高的测试集精度，提高模型的实际应用价值。

图1. 学习率为0.02时整数阶梯度方法与阶次为1.7的分数阶梯度方法的对比

图2. 学习率为0.1时整数阶梯度方法与阶次为1.9的分数阶梯度方法的对比

图3. 学习率为1.0时整数阶梯度方法与阶次为1.1的分数阶梯度方法的对比