BP神经网络是一种按照误差进行反向传播的多层前馈神经网络，神经网络中包括输入层、输出层、隐藏层，其中隐藏层的个数和其中神经元的数量不确定，BP神经网络用于无法直接找出确定的函数关系式，或者难以找出函数关系式的情况。神经网络通过自身训练，学习某种规律，在获取输入值后输出与实际结果最为接近的结果。BP神经网络包括两个步骤，分别是正向传播和反向传播两部分。正向传播是输入的数值经过数个隐藏层进行非线性运算，最后输出结果。反向传播是指如果输出数值与实际数值有偏差，由于神经网络有多个参数，神经网络根据梯度下降法，寻找变化梯度最大的一个方向，朝着这个方向去更新参数，通过不断的更新参数来获取与实际值差距最小的、最优的一组参数，这个过程即反向传播。神经网络的表达式可以简单的如下表示，神经网络原理图见 图1 。

$Y=\Sigma \phi \left(y\times w+b\right)$(1)

其中：Y为输出结果，y为输入的数据，w为权重矩阵，b为偏置矩阵， $\phi$为激活函数。

1) 正向传播：

第n个输入向量进入神经元j中经过矩阵运算乘以权重矩阵得到诱导局部域 $v_j\left(n\right)$，再经过激活函数 $\phi$得到在神经元j处的输出 $y_j\left(n\right)$

$v_j\left(n\right)={\displaystyle {\sum }_{i=0}^m{w}_{ji}\left(n\right)y_i\left(n\right)}$(2)

$y_j\left(n\right)={\phi }_j\left(v_j\left(n\right)\right)$(3)

2) 反向传播：

神经元j的输出值 $y_j\left(n\right)$，与期望值 $d_j\left(n\right)$之间的误差定义为 $e_j\left(n\right)$

$e_j\left(n\right)=d_j\left(n\right)-y_j\left(n\right)$(4)

其中： $d_j\left(n\right)$为期望向量 $d\left(n\right)$的第j个元素。

为了使得函数连续可导，采用均方根误差最小化，定义神经元j的瞬时误差为 $E_j\left(n\right)$

$E_j\left(n\right)=\frac{1}{2}{e}_j^2\left(n\right)$(5)

将每一个神经元的瞬时误差累加，得到整个网格的总瞬时误差为 $E\left(n\right)$

$E\left(n\right)={\displaystyle {\sum }_{j\in C}{E}_j\left(n\right)}=\frac{1}{2}{\displaystyle {\sum }_{j\in C}{e}_j^2\left(n\right)}$(6)

其中：C是包含输出层的所有神经元。

BP算法通过反复更新权重值使得 $E_n$最小化，采用梯度下降法对权重矩阵 $w_{ji}\left(n\right)$应用一个修正值

$\Delta w_{ji}\left(n\right)$，该修正值正比于 $\frac{\partial E\left(n\right)}{\partial w_{ji}\left(n\right)}$，根据微分链式规则可以将该梯度表示为

$\frac{\partial E\left(n\right)}{\partial w_{ji}\left(n\right)}=\frac{\partial E\left(n\right)}{\partial e_j\left(n\right)}\frac{\partial e_j\left(n\right)}{\partial y_j\left(n\right)}\frac{\partial y_j\left(n\right)}{\partial v_j\left(n\right)}\frac{\partial v_j\left(n\right)}{\partial w_{ji}\left(n\right)}$(7)

式(6)两端对 $e_j\left(n\right)$进行微分得到

$\frac{\partial E\left(n\right)}{\partial e_j\left(n\right)}=e_j\left(n\right)$(8)

式(4)两端对 $y_j\left(n\right)$进行微分得到

$\frac{\partial e_j\left(n\right)}{\partial y_j\left(n\right)}=-1$(9)

式(3)两端对 $v_j\left(n\right)$进行微分得到

$\frac{\partial y_j\left(n\right)}{\partial v_j\left(n\right)}={{\phi }^{\prime }}_j\left(v_j\left(n\right)\right)$(10)

式(2)两端对 $w_{ji}\left(n\right)$进行微分得到

$\frac{\partial v_j\left(n\right)}{\partial w_{ji}\left(n\right)}=y_j\left(n\right)$(11)

将式(8)至(11)代入式(7)得到

$\frac{\partial E\left(n\right)}{\partial w_{ji}\left(n\right)}=-e_j\left(n\right){{\phi }^{\prime }}_j\left(v_j\left(n\right)\right)y_i\left(n\right)$(12)

则修正值 $\Delta w_{ji}\left(n\right)$定义为

$\Delta w_{ji}\left(n\right)=-\eta \frac{\partial E\left(n\right)}{\partial w_{ji}\left(n\right)}$(13)

其中： $\eta$为学习率，负号表示梯度下降。

将式(12)带入式(13)

$\Delta w_{ji}\left(n\right)=\eta {\delta }_j\left(n\right)y_i\left(n\right)$(14)

其中： ${\delta }_j\left(n\right)$为局部梯度，局部梯度指明了权重所需要的变化。

${\delta }_j\left(n\right)=e_j\left(n\right){{\phi }^{\prime }}_j\left(v_j\left(n\right)\right)$(15)

1) 当神经元j为输出层时，已经给定了期望值，可以将式(4)代入式(15)得到

${\delta }_j\left(n\right)=\left(d_j\left(n\right)-y_j\left(n\right)\right){{\phi }^{\prime }}_j\left(v_j\left(n\right)\right)$(16)

2) 当神经元j为隐层，k为输出层时，没有指定的期望值，隐层的误差需要根据所有与隐层神经元直接相连的神经元的误差反向传递决定。

局部梯度 ${\delta }_j\left(n\right)$重新定义为

${\delta }_j\left(n\right)=-\frac{\partial E\left(n\right)}{\partial y_j\left(n\right)}{{\phi }^{\prime }}_j\left(v_j\left(n\right)\right)$(17)

网格的全部瞬时误差为

$E_n=\frac{1}{2}{\displaystyle \underset{k\in C}{\sum }{e}_k^2\left(n\right)}$(18)

式(18)两端对 $y_j\left(n\right)$求偏导

$\frac{\partial E\left(n\right)}{\partial y_i\left(n\right)}={\displaystyle \underset{k}{\sum }{e}_k\frac{\partial e_k\left(n\right)}{\partial y_i\left(n\right)}}={\displaystyle \underset{k}{\sum }{e}_k\left(n\right)\frac{\partial e_k\left(n\right)}{ðv_k\left(n\right)}\frac{ðv_k\left(n\right)}{\partial y_i\left(n\right)}}$(19)

$\frac{\partial e_k\left(n\right)}{ðv_k\left(n\right)}=-{{\phi }^{\prime }}_k\left(v_k\left(n\right)\right)$(20)

对于输出层神经元k，其诱导局部域为

$v_k\left(n\right)={\displaystyle \underset{i=0}{\overset{m}{\sum }}{w}_{kj}\left(n\right)y_j\left(n\right)}$(21)

式(21)对 $y_i\left(n\right)$进行微分得到

$\frac{ðv_k\left(n\right)}{\partial y_i\left(n\right)}=w_{kj}\left(n\right)$(22)

将式(20)至(22)带入式(19)

$\frac{\partial E\left(n\right)}{\partial y_i\left(n\right)}=-{\displaystyle \underset{k}{\sum }{e}_k\left(n\right){{\phi }^{\prime }}_j\left(v_k\left(n\right)\right)w_{kj}\left(n\right)}=-{\displaystyle \underset{k}{\sum }{\delta }_j\left(n\right)w_{kj}\left(n\right)}$(23)

将式(23)带入(17)得到隐层神经元j局部梯度 ${\delta }_j\left(n\right)$

${\delta }_j\left(n\right)={{\phi }^{\prime }}_j\left(v_j\left(n\right)\right){\displaystyle \underset{k}{\sum }{\delta }_k\left(n\right)w_{kj}\left(n\right)}$(24)

总结得到权重修正值 = 学习率 × 局部梯度 × 神经元j的输出信号。

本文单掺土体的数据来预测复掺土体的数据，采用璩继立的玄武岩纤维和纳米二氧化硅加筋上海黏土的抗剪强度试验研究中的数据进行研究 [9] 。输入为纳米二氧化硅的掺量、玄武岩纤维的掺量、正应力的大小、应变、黏聚力、内摩擦角、纤维长度一共七个变量作为输入变量，应力作为输出变量。通过建立神经网络对复掺土体的剪应力–剪切位移曲线进行预测。输入的七个变量值由于用的是同一种上海粘土和同一种玄武岩纤维，所以玄武岩纤维长度和土体的黏聚力和内摩擦角在此处为恒定值，分别为15 mm，52.5 kPa，21.9˚。

Python作为目前使用比较广泛、容易上手并且具有大量第三方库的编程程序，对编程能力较弱的人比较友好。本论文中的神经网络使用Python和第三方库Pytorch进行BP神经网络的编写。使用StandardScaler归一化对数据进行预处理，即将每一列数据进行均值为0方差为1的归一化，归一化后的数据范围为[−1, 1]。StandardScaler预处理公式如下：

$x^{\ast }=\frac{x-\mu }{\sigma }$(25)

其中： $x^{\ast }$为归一化后的数值， $\mu$为所有样本的均值， $\sigma$为所有样本的方差，x为输入的数值。

激活函数选用双曲正切函数 $\tanh \left(x\right)$作为激活函数 [10] ， $\tanh \left(x\right)$的输出范围是[−1, 1]，激活函数的公式如下：

$\tanh \left(x\right)=\frac{{\text{e}}^x-{\text{e}}^{-x}}{{\text{e}}^x+{\text{e}}^{-x}}$(26)

$\tanh \left(x\right)$激活函数相比于过去常用的sigmoid激活函数相比， $\tanh \left(x\right)$的均值是0，并且输出不止只有正值。但是 $\tanh \left(x\right)$激活函数和sigmoid激活函数有着相同的缺点，即有幂函数会导致运算速度比较慢，而且在函数的两端都会产生梯度消失的情况。

采用Xavier初始化 [11] ，Xavier初始化是一种适用于 $\tanh \left(x\right)$激活函数的权重初始化方法。Xavier初始化能够使得正向传播激活值的方差保持不变，保持反向传播梯度值的方差不变，有效解决神经网络在正向传播时方差改变的问题，能够有效避免梯度爆炸和梯度消失的问题，因为在上述归一化中，输入的X经过 $\tanh \left(x\right)$激活函数之后，有部分输出的数值出现在函数梯度较小处，为了避免出现梯度消失的问题，所以采用Xavier 初始化 [11] 。

损失函数使用平方差损失函数MSE Loss，平方差损失函数MSE Loss定义如下：

$L\left(y,y^{\prime }\right)=\frac{1}{n}{\left(\hat{y}-y\right)}^2$(27)

其中：y为真实值， $\hat{y}$为神经网络输出的预测值，n是样本数量。MSE Loss衡量了真实数值与预测数值的平均差异的平方值。如果MSE Loss越小，则模型输出的预测数值和真实值差距越小，模型的可信度越高。

优化器采用Adam优化器，Adam优化器是目前最通用、最受欢迎的优化器。Adam优化器结合了AdaGrad算法和RMSProp算法 [12] ，可以根据目标函数对每个参数进行矩估计，从而使得每个参数的特征不变，避免了噪声和梯度消失的问题，大大提升了模型的计算收敛速率，节省了计算机内存。给予模型更好的泛化能力。

对于隐层神经元的选取，在测试集上的性能指标，选取三个性能评估指标，分别是决定系数R²和均方根误差(RMSE)和绝对平均误差(MAE) [13] 。

决定系数R²反应预测曲线和实际曲线的拟合程度，范围在[0, 1]，值越接近1效果越好。公式如下

${\text{R}}^2=\frac{{\displaystyle {\sum }_{i=1}^n{\left({\hat{y}}_i-\bar{y}\right)}^2}}{{\displaystyle {\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2}}$(28)

其中： ${\hat{y}}_i$是预测值， $\bar{y}$是均值，y是实际数值。

均方根误差(RMSE)反应预测值和实际值的差值的平方和的均值，值越小表示误差越小。

$\text{RMSE}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{{\displaystyle \sum }}}{\left({\hat{y}}_i-y\right)}^2}$(29)

其中：n为样本数量

绝对平均误差(MAE)反应了预测值偏离实际值的程度，值越小表示误差越小。

$\text{MAE}=\frac{1}{n}\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\left|{\hat{y}}_i-y\right|$(30)

学习率选择0.01，训练次数epoch选择1000次 [13] 。

把单掺土体80%数据作为训练集，20%的数据作为测试集，寻找最优的神经元数量，输入数量由于输入较多，参考他人文献，隐藏层数确定为3 [14] 。

根据前人的经验公式

$l=\sqrt{m+n}+a$(31)

其中：m为输入节点数，n为输出节点数，a为[1, 10]之间的常数，l为隐层的节点数量，即神经元数量范围为[8, 13]。

选取神经元数量使用两种方法进行：1) 使用20%的单一测试集对模型进行测试。2) 使用网格搜索法K折交叉验证进行测试。选用两种方法的原因如下：单一的测试集不能够全方面的评价神经网络，但是计算时间较短；使用网格搜索法K折交叉验证将数据集分成K份，每一份都当作测试集进行测试，能够全面的评估模型，但是耗时很长。本文结合两者的优缺点，先进行单一测试集测试，选取最优神经元范围，再使用网格搜索法K折交叉验证对最优范围的神经元进行全面的评估。不同神经元对应的神经网络在测试集上的训练结果见 表1 。

从 表1 中可以看出，当神经元数量为12的时候，测试集的均方根误差、绝对平方误差最小，测试集决定系数R²最大，当神经元数量从11层到12层的时候误差下降，在13层的时候误差再次上升，推测神经元为12的时候可能陷入测试集过拟合，不具有较好的泛化能力。为了进一步从神经元数为11、12、13中选取最优的神经元数量，使用网格搜索法对神经网络超参数进行搜索，采用K折交叉验证，此处取K = 5，训练轮数选择100次。网格搜索K折交叉验证的性能评估指标结果见 表2 ：

从 表2 可以发现神经元数量为11时，误差最小，决定系数最大，故选取神经元数量为11，神经网络层数为3层，进行纤维土复掺强度的预测。

使用BP神经网络预测的剪应力–剪切位移曲线见 图2 、 图3 、 图4 。具体数值见 表3 。最大值与预测值的对比图见 图5 。

续表

图2 、 图3 、 图4 、 图5 中的黑色曲线为实际曲线，红色曲线为预测曲线。玄武岩纤维长度和土的内摩擦角和黏聚力为恒定值， 表3 中没有列出。从 图2 、 图3 、 图4 、 图5 和 表3 可以看出在掺量为玄武岩纤维掺量为0.3%和0.5%的情况下，复合加筋土体的峰值强度是随着纳米二氧化硅的含量增加而增加。在玄武岩纤维掺量为0.7%的情况下，复合加筋土的峰值强度随着纳米二氧化硅的掺量增加而下降，与原文的实验结果一致。使用BP神经网络预测最大值得到的结果和实际数据对比，误差在−2.350%到7.874%之间，误差可以接受。并且预测得到的剪应力-剪切位移曲线的R²基本都在0.9以上，拟合程度较高。并且通过对比，发现在玄武岩纤维掺量为0.5%纳米二氧化硅掺量为1.0%和玄武岩掺量为0.7%纳米二氧化硅掺量为0.5%的情况下，土体的强度最高，与原文得出的结论一致。

预测得到的剪应力–剪切位移曲线在应力等于0处应力不等于0，原因推测是神经网络每一层全连接层都是在进行矩阵运算，当其中一个输入等于0时，每经过一个隐层乘上权重矩阵 ${\omega }_i$再经过 $\tanh \left(x\right)$激活函数，到达第三个隐层求和输出，在矩阵乘法中有输入一个数为0，最后的输出结果不一定为0，并且含有偏置项b，求和结果也不一定为0。

限制于原文给出的数据，本文建立的神经网络模型并不能直接得到复掺土体的黏聚力和内摩擦角，通过间接计算土体的最大值强度来计算土体的预测黏聚力和内摩擦角。通过拟合曲线来计算两种最优配合比的黏聚力和内摩擦角。拟合曲线见 图6 ，具体结果见 表4 。

从 表4 可以看出，由BP神经网络得到的数值进行拟合计算黏聚力和内摩擦角与真实值差距不大，内摩擦角与实际内摩擦角几乎没有差距，黏聚力存在一些差距。0.7%纤维 + 0.5%二氧化硅的配合比黏聚力的误差为1.413%，0.5%纤维 + 1.0%二氧化硅配合比黏聚力误差为7.124%。其中对0.5%纤维 + 1.0%二氧化硅这一组配合比的黏聚力误差较大，但是7.124%的误差仍然在可接受范围内 [15] 。可以看出神经网络预测的数据具有较强的可靠性。