在本文中，多标签心律失常检测任务是对ECG序列中的不同心律失常进行诊断。本论文所提出的模型采用12导联心电图记录作为输入，并输出一个或多个标签，即相应的ECG心律失常类型。训练集可表示为 $S=\left(X,Y\right)$，其中X是一个输入信号，即长度为L的12导联ECG记录，Y是数据集的真实标签的集合。在我们的模型中，令 $Y=\left[Y_0,Y_1,Y_2,\cdots ,Y_{\text{g}},\cdots ,Y_{G-1}\right]$，其中 $Y_{\text{g}}\in \left\{0,1\right\},g=0,1,\cdots ,G-1$。这里， $Y_g\left(0\le g\le G-1\right)$对应于一个心律失常的真实标签。如果ECG记录 $X_i$含有第g类异常标签，则 $Y_g$等于1，否则， $Y_g$等于0，如下表达式所示：

$Y_g=\{\begin{array}{l}1，如果心电记录X_i包含第g类的心律失常标签，\hfill \\ 0，如果心电记录X_i不包含第g类的心律失常标签。\hfill \end{array}$(1)

多标签深度学习模型的主要任务是从模型S中获得一个多标签分类函数 $F\left(X\right)\to P$，该函数可以将每个输入信号映射到一组向量P。使用X作为输入，我们的模型预测一条心电记录对应的每个类别的概率为 $P=\left[P_o,P_1,P_2,\cdots ,P_{\text{g}},\cdots ,P_{G-1}\right]$，其中 $P_g$是模型预测的第g个类别的概率，G是ECG数据集类别的数量。在训练期间，模型的目标是最小化预测概率P相对于其真实标签Y的损失，让模型预测的概率无限接近其真实标签。

本文所提出的模型MLCT-CNN如 图1 所示，包括卷积神经网络(Convolutional Neural Network, CNN)、CBAM (Convolutional Block Attention module) [16] 和解码器分类块三个模块。该模型充分考虑了心律失常检测中的关键特征，包括局部波形特征和全局特征 [17] 。模型主要包括两个部分，第一部分卷积神经网络被用作提取局部特征的基础架构，第二部分使用注意力机制区分特征的不同通道与不同空间的特征的重要性，使用解码器分类块来提取全局特征，并分析标签嵌入特征之间的相关性，并隐式地捕捉不同标签之间的关系。

受到残差网络 [18] 的启发，为了防止由于模型深度过大导致模型的分类性能下降，我们采用卷积神经网络来提取局部特征，如 图2 所示。该主干网络包括两类模块，第一种卷积模块由3个卷积层、一个平均池化层、若干个归一化层(Batch Normalization, BN)层和修正线性单元层(Rectified Linear Unit, ReLU)组成，与第一个模块相比，第二个模块缺少一个池化层。第一个卷积模块重复3次，通道数分别为C₁、C₂和C₃。通过两种不同卷积模块进一步提取心电图数据的特征。每个卷积层后面都跟着一个BN层和一个ReLU激活函数。BN层有助于在训练中获得更稳定的参数更新 [19] 。ReLU是一种广泛使用的激活函数，因其在深度神经网络中防止梯度消失问题方面的能力而受到认可 [20] 。在主干网络中，将心电图信号作为主干网络的输入，用于提取局部特征。给定输入 $X\in {ℝ}^{1\times 12\times L}$，通过卷积网络提取特征为 $F\in {ℝ}^{C_3\times 12\times L^{\prime }}$。

模型使用了多个不同的注意机制模块：通道注意机制、空间注意机制和Transformer的解码器模块。 图1 中的CBAM由通道注意力机制和空间注意力机制组成， 图3 和 图4 详细阐述了模型的结构。首先，通道注意力机制通过对特征通道不同程度的重要性进行不同的选择，得到通道注意力系数，而空间注意机制是在特征中选择不同重要性的特征来获得空间注意力系数，输入特征 $F$通过这两个模块得到详细特征 $F^{″}$。这两步分别用式(2)和(3)表示：

$F^{\prime }=M_C\left(F\right)\otimes F$(2)

$F^{″}=M_S\left(F^{\prime }\right)\otimes F^{\prime }$(3)

其中， $\otimes$表示对应元素相乘， $M_C\left(F\right)$表示通道注意力模块(Channel Attention Module)产生的系数，而 $M_S\left(F^{\prime }\right)$表示空间注意力产生模块(Spatial Attention Module)的系数。

如 图4(a) 所示，通道注意力模块首先对输入特征进行通道维度的最大池化和平均池化操作，得到两个一维向量： $F_{avg}^C\in C\times 1\times 1$以及 $F_{\max }^C\in C\times 1\times 1$。这两个向量随后作为共享权重的多层感知机(Multi-Layer Perceptron, MLP)的输入。MLP对这两个向量进行处理，然后将处理后的结果相加，并经过Sigmoid函数映射，最终得到通道注意力权重。这个权重反映了每个通道在特征表达中的重要程度，具体计算方法如式(4)所示。

$M_C\left(F\right)=\sigma \left(MLP\left(AvgPool\left(F\right)\right)+MLP\left(MaxPool\left(F\right)\right)\right)=\sigma \left(W_1\left(W_0\left(F_{avg}^C\right)\right)\right)+W_1\left(W_0\left(F_{\max }^C\right)\right)$(4)

其中， $\sigma$表示激活函数， $W_0\in {ℝ}^{\frac{C}{r}\times C}$， $W_1\in {ℝ}^{C\times \frac{C}{r}}$。

如 图4(b) 所示，对于空间注意力模块，输入特征同样进行空间维度的最大池化和平均池化操作，生成两个矩阵： $F_{avg}^S\in 1\times H\times W$以及 $F_{\max }^S\in 1\times H\times W$。这两个矩阵在通道维度上进行串联，形成一个 $2\times H\times W$的特征映射。这个特征映射随后通过一个卷积层进行处理，卷积层的输出通道数为1，从而得到一个空间注意力权重矩阵。这个矩阵的每个元素表示对应空间位置的重要程度，有助于模型聚焦于关键区域。整个空间注意力权重的计算过程可以用式(5)表示。

$M_S\left(F\right)=\sigma \left(f^{7\times 7}\left(\left[AvgPool\left(F\right);MaxPool\left(F\right)\right]\right)\right)=\sigma \left(f^{7\times 7}\left(\left[F_{avg}^S;F_{\max }^S\right]\right)\right)$(5)

其中， $\sigma$表示激活函数， $f^{7\times 7}$表示卷积核大小为 $7\times 7$的卷积操作。通道注意力机制聚焦于对ECG分类更为关键的特征通道，而空间注意力主要聚焦于特征的空间特征。两种不同的注意力机制对ECG均有帮助，同时使用两种模型更能提高模型的分类结果，通道注意力机制以及空间注意力机制不改变特征的形状。在通道空间注意力之后是一个线性投影层(Linear Projection Layer)。该层将特征投影到与下一阶段中解码器模块所需的查询维度匹配，将投影后的特征重新调整。

经过通道空间注意力得到标签嵌入特征，包含标签的相关信息。为自动提取全局特征并分析标签嵌入之间的关系，引入了解码器分类块 [21] 。如 图1 所示，将标签嵌入输入多个Transformer解码器层(见 图5 )和一个线性投影层组成，该模块可用于提取全局特征，并分析标签嵌入之间的相关性，从而预测每个类别的概率作为模型的输出。

在Transformer解码器中，使用标签嵌入特征作为查询 $Q_i\in {ℝ}^{C_3\times hidden\_\dim }$，第i层Transformer解码器根据其前一层的输出更新查询(query)。解码器分类块包含自注意力层(self-attention layer)、交叉注意力层(cross-attention layer)和前馈神经网络层(Feed-Forward Networks layer, FFN)，具体如下：

$\text{self-attention}:Q_i{}^{(1)}=\text{MultiHead}\left(Q_{i-1},Q_{i-1},Q_{i-1}\right)$(6)

$\text{cross-attention}:Q_i{}^{(2)}=\text{MultiHead}\left(Q_i{}^{(1)},F^{″},F^{″}\right)$(7)

$\text{FFN}:Q_i=\text{FFN}\left(Q_i{}^{(2)}\right)$(8)

其中，自注意力和交叉注意力模块都使用相同的多头注意力函数MultiHead实现，多头注意力函数的计算如式(9)，将h个基础注意力机制模块的输出进行拼接得到多头注意力机制的输出。

$\text{MultiHead}\left(Q,K,V\right)=\text{Concat}\left({\text{head}}_1\text{,}\cdots {\text{,head}}_h\right)W^O{\text{where head}}_i\text{=Attention}\left(Q{W}_i{}^Q,K{W}_i{}^K,V{W}_i{}^V\right)$(9)

$\text{Attention}\left(Q,K,V\right)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$(10)

式中， $W_i{}^Q\in {ℝ}^{d_{\text{model}}\times d_k}$， $W_i{}^K\in {ℝ}^{d_{\text{model}}\times d_k}$， $W_i{}^V\in {ℝ}^{d_{\text{model}}\times dv}$， $W_i{}^O\in {ℝ}^{h{d}_k\times d_{\text{model}}}$，h表示多头注意力机制中基础注意力机制模块的个数。注意力机制模块首先将输入的 $Q$与 $K$的转置进行相乘，之后用 $d_k$以及softmax操作进行归一化得到权重，乘以 $V$，得到单个注意力机制的输出，如式(6)。在自注意力模块中，query、key和value都来自标签嵌入 $Q_{i-1}$，而在交叉注意力模块中，key和value来自卷积网络的空间特征 $F^{″}$。自注意力模块可以通过计算标签嵌入特征之间的相似度分析标签嵌入特征之间的依赖关系，而交叉注意力机制通过计算先后生成的标签嵌入之间的相似度计算其相关性。

在D层Transformer解码器层之后是GroupWiseLinear层，得到模型的预测结果 $P\in {ℝ}^{1\times G}$，表示模型预测到的 $G$个心律失常类别的概率。

$P_i={\displaystyle \underset{i=1}{\overset{d}{\sum }}\left(Q_{D(i,j)}\times w_j+b_i\right)\left(i\in 0,1,\cdots ,G-1\right)}$(11)

其中 $w_j$和 $b_i$是模型的参数。

在心电数据集中，一条记录包含少量的正标签和大量的负标签，导致了样本之间的不均衡，为了更有效地解决这个问题，本论文采用了简化的非对称损失函数(Asymmetric loss, ASL) [22] ，该损失在正样本和负样本上的操作不同。与传统的交叉熵损失函数相比，不对称损失函数减少了负样本的贡献，并在训练过程中更加强调正标签。我们利用以下非对称损失函数来计算每个训练样本X的损失：

$L=\frac{1}{G}{\displaystyle \underset{g=1}{\overset{G}{\sum }}\{\begin{array}{c}{\left(1-P_g\right)}^{\gamma +}\log \left(P_g\right),Y_g=1,\\ {\left(P_g\right)}^{\gamma -}\log \left(1-P_g\right),Y_g=0.\end{array}}$(12)

其中， $P_g$是预测类别的概率， $Y_g$是一个二进制标签，用于表示心电图记录X的实际标签中是否含有标签g。 ${\gamma }^{-}$和 ${\gamma }^{+}$分别为负聚焦和正聚焦的参数，通过对这两个参数的设置，可以更好地控制正样本和负样本对损失函数的贡献，并帮助模型从正样本中学习有意义的特征。

本文所提出的模型在一台配备GeForce GTX GPU、8GB内存的服务器上进行训练和测试，该模型使用PyTorch1.7.0和CUDA 10.1框架进行实现。

CPSC 2018心电数据集 [5] 是中国生理信号挑战赛第一届比赛的数据集，该数据集的信号来自11家医院，包含了九种类型的心电图数据：一种是正常的心电数据类型(Normal)，另外八种是心律失常类型分别为：(1) 心房颤动(Atrial Fibrillation, AF)；(2) 一度房室传导阻滞(First-degree Atrioventricular Block, I-AVB)；(3) 左束支传导阻滞(Left Bundle Branch Block, LBBB)；(4) 右束支传导阻滞(Right Bundle Branch Block, RBBB)；(5) 房性早搏(Premature Atrial Contraction, PAC)；(6) 室性早搏(Premature Ventricular Contraction, PVC)；(7) ST段压低(ST-segmentDepression, STD)；(8) ST段抬高(ST-segment Elevation, STE)。 图6 详细描述了数据集的数据概况，训练集一共包含6877个心电图记录，测试集包含2954个心电图记录，每个心电图记录有12个导联，每一条记录的长度不同，从6秒到60秒不等，大多数记录有一个标签为正，但有些记录可能有两个或两个以上的标签为正，训练集和测试集分别有476个和203个多标签类型的实验数据。

实验的另一个数据集是PTB-XL心电图数据库 [13] ，包含来自18,885名患者的21,837份记录。这些心电图记录为12导联，持续时间为10秒，采样频率为500 Hz，并且该数据集在性别方面保持平衡，男性占52%，女性占48%。此外，心电图信号由两名经验丰富的心脏病专家进行注释，并且，该多标签心电数据集一共有71个不同陈述，包含了44个不同的诊断陈述、19个不同的形式陈述和12个不重叠的节律陈述，其中4个陈述既属于诊断陈述又属于形式陈述。本论文主要对诊断陈述的数据集进行实验，PTB-XL提供了超类和子类层次的分类情况，可用于训练更广泛类别上的分类算法，而不是原始的细粒度诊断标签，PTB-XL心电数据集的详细信息见 图7 。本文使用PTB-XL心电数据集推荐的训练集和测试集进行实验，其中，训练集数据19267例，测试集数据2163例，推荐的测试集数据标签质量高，数据分布与训练集数据相似。

CPSC 2018心电数据集包含了6秒到60秒不等的心电图记录，卷积神经网络无法处理不同长度的输入，因此需要调整原始数据的大小，本文对降采样后的心电信号进行裁剪或填充，使它们的长度相同。将CPSC 2018心电数据集分成训练集和测试集，比例为8:2，测试集和训练集数据不重合。而针对PTB-XL心电数据集，本文使用推荐的训练集和测试集进行实验，其中，训练集数据19,267例，测试集数据2163例，推荐的测试集数据标签质量高，数据分布与训练集数据相似。

通过对超参数的精细调整，最终选择了32作为批处理大小。使用Adam优化器 [24] 对整个模型进行了60个时期的训练，以迭代更新权重，其中学习率在开始时设置为0.0001，此外，使用早停策略来确定适当的迭代次数，以避免过度拟合。当验证损失保持不变时，说明网络已经收敛，训练停止，从而保证可以得到最佳的分类效果。

图7. PTB-XL心电数据集子类(a)及超类(b)诊断陈述概述

在这项研究中，我们使用了典型的分类指标来验证模型的分类性能，包括准确率、精确度、召回率以及F1分数，分类指标都包含各个类别和整体的分类情况。

准确率是正确预测数量与总预测数量的比率，准确率代表了该算法检测出真实样本占所有样本的比率，表示模型的正确预测，准确率越高，则该算法检测出样本真实情况的能力越强。可以使用以下公式来计算这个指标：

${\text{Accuracy}}_g=\frac{{\mathrm{TP}}_g+{\mathrm{TP}}_g}{{\mathrm{TP}}_g+{\text{FP}}_g+{\mathrm{TP}}_g+{\text{TP}}_g}$(13)

$\text{Accuracy}=\frac{{\displaystyle \underset{\text{g}=0}{\overset{G-1}{\sum }}{\text{Accuracy}}_g}}{G}$(14)

精确率是正确的正类别预测数量与所有正类别预测数量的比率：

${\text{Precision}}_{\text{g}}=\frac{{\text{TP}}_g}{{\mathrm{TP}}_g+{\text{FP}}_g}$(15)

$\text{Precision}=\frac{{\displaystyle \underset{g=0}{\overset{G-1}{\sum }}{\text{Precision}}_{\text{g}}}}{G}$(16)

召回率衡量的是被正确分类为正类的样本数量与总正类样本数量的比例。这个指标可以通过以下公式来计算，它可以反映模型在将正类样本分类的能力：

${\text{Recall}}_{\text{g}}=\frac{{\text{TP}}_g}{{\text{TP}}_g+{\text{FN}}_g}$(17)

$\text{Recall}=\frac{{\displaystyle \underset{g=0}{\overset{G-1}{\sum }}{\text{Recall}}_g}}{G}$(18)

F1值是精确率和召回率的加权平均值：

$F{1}_g=\frac{2\times {\text{TP}}_{\text{g}}}{2\times {\text{TP}}_g+{\text{FP}}_g+{\text{FN}}_g}$(19)

$F1=\frac{{\displaystyle \underset{g=0}{\overset{G-1}{\sum }}F{1}_{\text{g}}}}{G}$(20)

其中，G是数据集分类的数量，g表示不同类别，TP (True Positive)表示真实值和预测值都是正样本，即真阳性；TN (True Negative)表示真实值和预测值都是负样本，即真阴性；FP (False Positive)表示真实值为负样本，预测值为正样本，即假阳性；FN (False Negative)表示真实值为正样本，预测值为负样本，即假阴性。

针对CPSC 2018心电数据集，一共有9个标签，1个标签为正常，其余8个标签为心律失常类型，心律失常可分为四个大类：房颤(AF)、传导阻滞(Block)、早搏(PC)以及ST段改变，分类指标的计算分别如式(21)、(22)、(23)以及(24)。

$F\_af=\frac{2\times {\text{TP}}_{\text{2}}}{N_{2x}+N_{x2}}$(21)

$F\_block=\frac{2\times \left({\text{TP}}_3+{\text{TP}}_4+{\text{TP}}_5\right)}{N_{3x}+N_{x3}+N_{4x}+N_{x4}+N_{5x}+N_{x5}}$(22)

$F\_pc=\frac{2\times \left({\text{TP}}_6+{\text{TP}}_7\right)}{N_{6x}+N_{x6}+N_{7x}+N_{x7}}$(23)

$F\_st=\frac{2\times \left({\mathrm{TP}}_8+{\mathrm{TP}}_9\right)}{N_{8x}+N_{x8}+N_{9x}+N_{x9}}$(24)

其中， $F\_af$是AF的F1值； $F\_block$是阻滞大类的F1值，包括I-AVB、LBBB和RBBB三种类型的心律失常； $F\_pc$为早搏大类的F1值，其中早搏包含PAC和PVC； $F\_st$是ST段变化的F1值，其中包括STD和STE。变量数 $N_{ij}$的计数规则见 表1 。

本模型的分类结果与CPSC 2018比赛排名前10的结果进行了比较，比较结果如 表2 所示，本文的模型分类结果在所有模型中排名第二，尤其在包含I-AVB、LBBB和RBBB三种心律失常类型的block子类别中，该模型子类F1分数最高，比第二名的F1分数高0.013，而整体的F1值与最高F1值相比，本文提出的模型稍低0.002。然而，Chen等人整合了130个模型来构建一个复杂且庞大的集成模型 [15] ，由于这种复杂的架构，预测效率较低，并且需要更多的计算成本。

本节还在CPSC 2018心电数据集上对本文提出的网络和一些现有的分类网络进行了比较分析， 表3 列出了不同方法的各项性能指标，粗体显示的值表示相应指标的最佳分数。与TI-CNN[ 8]和ATI-CNN [9] 相比，MLCT-CNN分类结果F1值分别提升了约0.063和0.023。与文献 [11] 、文献 [25] 、文献 [26] 、文献 [27] 、文献 [28] 、文献 [7] 中提出模型的分类结果相比，本文提出的模型F1分别提高了约0.029、0.022、0.017、0.008、0.008和0.007。特别是对于正常、LBBB和RBBB类别，本文提出的模型的F1值均高于这些模型。总之，相比于之前提出的用于心电数据集分类的模型，MLCT-CNN取得了明显的改进，更具竞争力。

本章比较了我们提出的模型与近几年学者提出的方法在PTB-XL数据集上不同分类层次的分类性能，如 表4 所示。本文所提出的模型针对超类诊断(super diagnosis)的F1值为0.762，准确度为0.898，精确度为0.833，召回率为0.722。此外，在PTB-XL的子类诊断(sub diagnosis)方面，本文提出模型的F1值、精确率、准确率和召回率均高于现有的模型。由这些实验结果表明，该模型在CPSC 2018心电数据集和PTB-XL心电数据集都取得了很好的结果，这表明该模型在心电图异常分类方面是有效的。

a) 关于非对称损失函数参数的选择，本文在两个不同的心电数据集上进行了详尽的实验。在SPSC 2018心电数据集上，选取两个固定的 ${\gamma }^{-}$值，即2和4，实验结果如 图8(a) 所示。分析表明，当 ${\gamma }^{+}$增加时，F1值呈现下降趋势，然而，当 ${\gamma }^{-}$设置为4，且 ${\gamma }^{+}$从0增加到1时，F1值却有所提升。当 ${\gamma }^{+}=1$且 ${\gamma }^{-}=4$时，模型在SPSC 2018心电数据集上的分类效果达到最优。

此外，在PTB-XL心电数据集上，本文对非对称损失的参数 ${\gamma }^{-}$和 ${\gamma }^{+}$进行了对比实验，结果如 图8(b) 所示，该模型在超级诊断方面，当 ${\gamma }^{-}=2$且 ${\gamma }^{+}=0$时，模型达到了最佳的F1值0.762。综上所述，不同的心电数据集在非对称损失函数参数选择上存在差异。为了获得最佳的分类效果，需要根据具体的数据集进行实验，以确定最佳的参数设置。

图8. 不同的正向聚焦因子( ${\gamma }^{+}$)值在(a) CPSC2018和(b) PTB-XL心电数据集上的F1对比，其中 ${\gamma }^{-}=2$和 ${\gamma }^{-}=4$

b) 为了验证CBAM和解码器模块的有效性，进行了一系列消融实验，将我们的网络分别与没有CBAM和MLCB的两种网络变体进行比较。该模型由三个部分组成：主干网络、CBAM和解码器模块。用于比较的三个模型的结构如下：

模型1：该模型仅使用卷积神经网络作为主干网络进行特征提取，设计这个模型是为了验证CBAM和解码器模块的作用。

模型2：该模型不包含解码器模块，设计这个模型是为了验证CBAM的效果。

模型3：该模型不包含CBAM。这个模型是为了验证解码器模块的效果。

表5 对比了几个参考模型和本文提出模型的F1值，模型2的F1值比模型1的高出0.187，而模型3的F1值比模型1高出0.224。模型2包含CBAM，而模型3包含解码器。

在本节中，我们对比了不同注意力机制模块的作用。除了CBAM模块 [16] ，我们对比了CA (Coordinate Attention)模块 [32] ，SE (Squeeze and Excitation)模块 [33] ，SCSE (Concurrent Spatial and Channel Squeeze & Excitation)模块 [34] 以及GMAP (Global Max Pooling and Global Average Pooling)模块 [7] 。与这几种注意力机制相比，带有CBAM模块的模型最终的分类效果更好，如 表6 所示，CBAM可以自适应地增强包含心律失常信息的通道，抑制不相关的通道，从而改善模型的分类性能。

本文提出了一个能够自动检测心律失常类别且无需预处理的模型，通过以上的实验结果显示，我们的方法在心电图记录分类任务中分类结果良好，在CPSC 2018心电数据集中测试集的平均F1值达到0.835，在PTB-XL心电数据集中，超类诊断(super diagnosis)的F1值为0.762，子类诊断(sub diagnosis)的F1值为0.473，均超过了一些现有模型的分类效果，证明本文提出的模型在多标签心电图分类检测的有效性。通过消融实验表明，本文提出的分类网络中的每个模块都是必不可少的，并且都能一定程度上增强模型的分类效果。在提出的网络中，CBAM比近几年提出的其他注意力机制模块更有效，分类效果更优，并且CBAM模块和解码器多标签分类模块都提高了模型的分类效果，两个模块的组合分类性能更好。

正如 图9 所示，混淆矩阵是用于评估分类模型性能的一个矩阵，其中是心电数据集标签的种类数，在CPSC 2018心电数据集上的混淆矩阵则表明本文提出的模型预测结果与实际的标签存在高度一致性，从而表明模型对多标签心电数据集具有良好的分类效果。