BiLSTM [17] 是一种特殊的递归神经网络，能够同时捕捉序列的前向和后向信息。

$c_t=f_t\ast x_t+i_t\ast {\tilde{c}}_t$ (1)

$o_t=\delta \left(W_{xo}{x}_t+W_{xo}\cdot h_{t-1}+b_o\right)$ (2)

$h_t=o_t\ast \tanh \left(c_t\right)$ (3)

其中公式(1)~(3)， $i_t$代表输入门， $\delta$为sigmoid函数， $f_t$代表遗忘门， $h_t$为当前隐藏状态， ${\tilde{c}}_t$表示当前输入的单元状态， $c_t$代表保留程度， $b_o$表示偏置项。前向LSTM的输出为 $\stackrel{\to }{h_t}$，后向LSTM的输出为 ${\stackrel{\leftarrow }{h}}_t$。每个时间步 $t$的BiLSTM输出 ${\text{h}}_t$计算如公式(4)所示。

$h_t=\stackrel{\to }{h_t}+\stackrel{\leftarrow }{h_t}$ (4)

CNN [18] 能够学习序列局部依赖关系，有效地处理和提取基因序列的特征。

$Y\left[j\right]={\displaystyle \underset{j}{\sum }w\left[j\right]}\cdot X\left[i+j\right]$ (5)

$Y_{pool}\left[i\right]=\max \left(X\left[i:i+k\right]\right)$ (6)

公式(5)~(6)中， $X$是输入序列， $w$表示卷积核， $Y\left[i\right]$表示卷积输出， $w\left[j\right]$表示卷积权重， $X\left[i+j\right]$是输入序列的局部区域， $k$是池化窗口的大小， $Y_{pool}\left[i\right]$是最大池化。

神经网络中常用的激活函数有tanh，relu，elu，sigmoid和softmax [18] [19] 等，这些激活函数在模型中具有不同的作用，本文激活函数的选择主要涉及tanh和sigmoid函数。

tanh函数是一种双曲正切函数，将输入值压缩到[−1, 1]范围内，该函数是中心对称的，即tanh (0) = 0，在二分类问题中tanh函数多用于隐藏层部分，具体表示为公式(7)。

$f\left(x\right)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$ (7)

sigmoid函数将输入值压缩到(0, 1)范围内，该函数的输出可以解释为某个事件发生的概率，故sigmoid函数常用于二分类问题的输出层，将输出转换为概率值，具体表示为公式(8)。

$f\left(x\right)=\frac{1}{1+e^{-x}}$ (8)

随机梯度下降(Stochastic Gradient Descent, SGD)是一种简单且常用的优化算法，用于在梯度下降过程中最小化损失函数。

${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }L\left({\theta }_t;x^{\left(i\right)};y^{\left(i\right)}\right)$ (9)

在公式(9)中， ${\nabla }_{\theta }L\left({\theta }_t;x^{\left(i\right)};y^{\left(i\right)}\right)$表示在第 $t$次迭代时，使用第 $i$个样本 $x^{\left(i\right)}$和其对应的标签 $y^{\left(i\right)}$计算的损失函数梯度， $\eta$为学习率。

Adam [20] 通过计算梯度的一阶矩(即梯度的均值)和二阶矩(即梯度的平方均值)的指数移动平均值来动态调整学习率，从而在保证收敛速度的同时提高模型的性能，具体计算为公式(10)~(13)。

$g_t={\nabla }_{\theta }L\left({\theta }_t;x^{\left(i\right)};y^{\left(i\right)}\right)$ (10)

$m_t={\beta }_{1m_{t-1}}+\left(1-{\beta }_1\right)g_t$ (11)

$v_t={\beta }_{2v_{t-1}}+\left(1-{\beta }_2\right)g_t{}^2$ (12)

${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{\widehat{v_t}+\epsilon }}\widehat{m_t}$ (13)

初始时刻的一阶矩和二阶矩均为0， ${\beta }_1$和 ${\beta }_2$是动量参数，分别设置为0.9和0.999。参数 $\theta$沿着修正后的一阶矩方向更新，步长由学习率 $\eta$和修正后的二阶矩的平方根控制， $\epsilon$是一个非常小的常数，防止除零错误。

为充分发挥BiLSTM在长距离依赖关系建模方面的能力，本文提出 $\text{BiLSTM}\to \text{CNN}$模型，将one-hot，EIIP和DNA 2-mer编码后的序列首先传入BiLSTM层，通过双向长短期记忆网络提取序列的长距离依赖关系，然后再将这些长距离依赖特征传入CNN层，通过卷积操作进一步提取局部特征，模型结构如 图1 所示。

该模型采用二进制交叉熵作为其损失函数，适用于二元分类任务，公式如下：

$loss=-\frac{1}{N}{\displaystyle \underset{i=1}{\overset{N}{\sum }}\left[y_i\log \left(y_{pred,i}\right)+\left(1-y_i\right)\log \left(1-y_{pred,i}\right)\right]}$ (14)

$y_i$表示真实标签， $y_{pred,i}$表示预测标签。

为了评估模型性能，我们使用准确度(ACC)，马修斯相关系数(MCC)，灵敏度(SN)和特异度(SP)作为模评价指标，具体计算如公式(15)~(28)所示。

$ACC=\frac{TP+TN}{TN+FP+TP+FN}$ (15)

$MCC=\frac{TP\times TN+FP\times FN}{\sqrt{\left(TP+FP\right)\left(TN+FN\right)\left(TP+FN\right)\left(TN+FP\right)}}$ (16)

$SN=\frac{TP}{TP+FN}$ (17)

$SP=\frac{TN}{TN+FP}$ (18)

其中，TP (真阳性)和TN (真阴性)分别表示正确预测的6mA和非6mA样本的数量；FP (假阳性)和FN (假阴性)分别是错误预测的非6mA和6mA样本的数量。

本文使用拟南芥(Arabidopsis)、水稻(Rice)和蔷薇科(Rosaceae)三种植物的DNA 6mA数据进行模型的训练和结果的评估。三个物种的数据集中共包含1个训练集和3个独立测试集，分别是Rosaceae训练集，Rosaceae测试集，Rice测试集和Arabidopsis测试集。本文使用Rosaceae训练集训练模型，将其分成两部分，80%的数据用于训练，20%的数据用于验证，通过对模型的训练，使得该模型能够泛化到Arabidopsis和Rice物种上。四个数据集的详细信息见 表1 。

本文将one-hot、EIIP和DNA 2-mer 3种特征组合进行组合，对给定的DNA序列进行编码。在one-hot编码中，每个核苷酸被编码为一个4维二进制向量，即核苷酸A、C、G和T分别被表示为 $A=[1,0,0,0]$、 $C=[0,1,0,0]$、 $G=[0,0,1,0]$和 $T=[0,0,0,1]$。EIIP根据核苷酸在给定DNA序列中的电子–离子能量分布来表达核苷酸，四个核苷酸分别表示为A = 0.1260、C = 0.1340、G = 0.0806和T = 0.1335。DNA二聚体编码(DNA 2-mer Encoding)的方法将DNA序列转换为数值数组，即 $\begin{array}{l}AA\to 0,AT\to 1,AG\to 3,TA\to 4,TT\to 5,TC\to 6,TG\to 7,CA\to 8,\\ CT\to 9,CC\to 10,CG\to 11,GA\to 12,GT\to 13,GC\to 14,GG\to 15.\end{array}$

当然，为了处理DNA序列中的缺失值(表示为“N”)，在One-Hot编码和EIIP编码过程中，对于遇到的“N”碱基，我们分别使用了零向量 $\left[0,0,0,1\right]$和数值0.0进行填充；在2-mer编码过程中，缺失碱基分别编码为 $AN\to 16,CN\to 17,GN\to 18,TN\to 19,NN\to 20$。

BiLSTM模块的参数主要涉及BiLSTM的层数以及优化器，我们选取常用的BiLSTM层数1，2和3，优化器为SGD和Adam，并在Rosaceae训练集上对模型进行调试，调试结果见 表2 ， 表3 。

从 表2 和 表3 可以看出，当BiLSTM层数为1层，优化器为Adam时，BiLSTM模块性能达到最优。因此BiLSTM的层数和优化器分别选取1和Adam。

对CNN模块的选择，我们同样选取常用的参数，并在Rosaceae训练集上进行调试，结果见 表4~6 。

从 表4~6 可以看出，当卷积层数为1层，卷积层和压平层的激活函数均为Tanh，优化器为Adam时，CNN模块达到了最优性能。因此取CNN模块的卷积层数为1，各部分激活函数均为Tanh，优化器选择Adam。

基于上述3个物种的独立测试集，我们将 $\text{BiLSTM}\to \text{CNN}$方法与现有方法进行比较。 表7 列出了与目前在相应物种上预测能力较好模型的比较结果，主要有Meta-i6mA [10] ，iDNA6mA-Rice [11] ，MM-6mAPred [5] 和6mA-StackingCV [12] 。

在Rice物种中，尽管 $\text{BiLSTM}\to \text{CNN}$模型的SN值(0.946)略低于几种方法，但在其他三3个评估指标上表现出色。与目前对Rice 6mA位点预测的最优方法Meta-i6mA相比，ACC提高0.058，MCC提高0.108，SP提高0.128。与最新的6mA-StackingCV相比，上述3个指标分别高0.093，0.169和0.204。表明 $\text{BiLSTM}\to \text{CNN}$模型在Rice物种中具有卓越的预测性能，尤其是在减少假阴性方面表现优异。

在Arabidopsis物种中， $\text{BiLSTM}\to \text{CNN}$模型在4个评估指标中依然表现出色。与目前对Arabidopsis中6mA位点预测最好和最新的方法6mA-StackingCV相比，其ACC提高0.084，MCC提高0.154，SN提高0.180，并且在所有方法中均为最优。其SP值为0.873，仅低于Meta-i6mA的0.936，排名第二。表明， $\text{BiLSTM}\to \text{CNN}$模型在对Arabidopsis物种的6mA位点预测方面具有显著的优势。

尽管 $\text{BiLSTM}\to \text{CNN}$模型在Rosaceae独立测试数据集上的表现性能略低于6mA-StackingCV和Meta-i6mA，但是4个指标的值在所有方法中均位于前列。并且与最好的方法6mA-StackingCV相比，各项指标的差异最大为0.029，展示了其在该物种上同样具有竞争力。

综上所述， $\text{BiLSTM}\to \text{CNN}$在3个独立测试集上均达到了较好的性能，并且相对于其他方法，具有更好的泛化能力。

星号(*)表示结果来自文献 [12] 。

为了验证各模块的有效性以及BiLSTM和CNN顺序的合理性，我们还比较了仅使用CNN或者BiLSTM，以及BiLSTM和CNN不同的组合方式在不同数据集上的预测结果。这几种模型分别记为CNN，BiLSTM， $\text{CNN}\to \text{BiLSTM}$ (表示CNN在前，BiLSTM在后)以及 $\text{CNN}\leftrightarrow \text{BiLSTM}$ (表示CNN和BiLSTM并联)，本文模型记为 $\text{BiLSTM}\to \text{CNN}$。 表8 列出了比较结果。

从 表8 可以看出， $\text{BiLSTM}\to \text{CNN}$模型在3个独立测试集上的ACC均达到最优，在Rosaceae中的SN，Rice中的MCC和SP，以及Arabidopsis中的MCC略低于CNN，Arabidopsis中SP略低于 $\text{CNN}\to \text{BiLSTM}$，其他指标均达到最优。这表明相对于只使用单一的CNN或者BiLSTM模块，或者其他的BiLSTM和CNN的结合顺序， $\text{BiLSTM}\to \text{CNN}$模型无论是在6mA位点的预测准确性方面，还是模型的泛化能力，都表现出优越的性能。 图2 所示的ROC曲线进一步支持了这些发现。

续表