基于内容的服务推荐是一种常见的推荐方法，它通过分析服务的特征和属性，为用户推荐与其需求相关的服务。在相关工作中，研究者们已经提出了许多基于内容的服务推荐算法。一种常见的方法是使用关键词匹配。这种方法首先对服务的描述文本进行处理，提取关键词或特征词。然后，通过比较用户需求与服务的关键词进行匹配，为用户推荐与其需求匹配程度较高的服务。例如，Zhong等人 [6] 基于由一组组件Web API组成的移动应用程序的功能描述来挖掘Web API的客观可靠的功能。挖掘过程主要是通过分析移动应用程序的功能描述和应用程序API的组成结构。Hao等人 [7] 通过挖掘隐藏在移动应用程序描述中的价值信息来描述Web API功能。然后，提出了一种有针对性的重构服务描述(TRSD)方法来帮助Web API推荐和移动APP开发。

基于神经网络的服务推荐方法通常利用深度学习技术来挖掘用户行为和服务特征之间的复杂关系，实现个性化的推荐。例如，Yan等人 [8] 利用LightGCN的协作注意力卷积网络有效地捕获双边信息进行服务推荐。Wei等人 [9] 提出了一种时间感知服务推荐方法。不幸的是，很难在软件工程场景中验证这种方法。因此，他们使用产品推荐数据集进行实验。Mezni等人 [10] 提出了一种时间感知服务推荐方法，该方法利用时间知识图对用户与服务的交互进行建模。Liu等人 [11] 提出了一种捆绑服务推荐方法，该方法旨在解决推荐服务之间的约束问题。这些基于神经网络的服务推荐方法通过深度学习技术的应用，能够更好地挖掘用户和服务之间的复杂关系，实现个性化、精准的推荐，为用户提供更好的推荐体验。

自从Transformer [12] 被提出以来，这种基于注意力机制的神经网络在许多领域都取得了巨大的成功。Transformer中的编码器部分在学习单词与单词之间的交互信息方面具有很强的能力。受此启发，本文使用Transformer编码器对开发需求进行特征提取。

给定开发需求 $ve{c}_a$，Transformer编码器对开发需求中的所有单词提取特征表示，输出可表示为 $ve{c}_a=\left\{ve{c}_1,ve{c}_2,\cdots ,ve{c}_L\right\}$。其中，L表示开发需求的长度， $ve{c}_i$表示在位置i的单词的嵌入表示。

编码器由 $N$个相同的层组成，每一个层包含了两个子层，分别为自注意机制和完全连接的前馈网络。假设输入为 $g$，子层应用残差连接，然后进行层归一化来计算输出，可以表示为 $LayerNorm\left(g+SubLayer\left(g\right)\right)$，其中 $SubLayer$表示自注意机制和完全连接的前馈网络。

由于编码器的每一层都相同，这里选取其中的第 $l$层来进行简单介绍。第 $l$层的输入为前一层的输出 $ve{c}_a^{l-1}$，第一层的输入为文档的嵌入表示 $ve{c}_a=X$。在自注意机制中，查询Q、关键字K和值V都是具有不同参数矩阵的 $ve{c}_a^{l-1}$的线性投影，自我注意力的输出是根据缩放的点积注意力来计算的，计算过程如下所示：

$Att\left(Q,K,V\right)=Soft\max \left(\frac{Q^{T}K}{\sqrt{d}}\right)V$(1)

此外，Transformer编码器并行计算h 头实现自我注意，其中每个头基于公式(1)计算注意力。多头注意力的输出是h个头的串联，接着进行线性投影，过程如下：

$MultiHead\left(Q,K,V\right)=f\left(H_1,H_2,\cdots ,H_h\right)W^M$ (2)

$H_i=ATT\left(Q{W}_i^Q,K{W}_i^K,V{W}_i^V\right)$(3)

其中，f表示拼接操作， $W^M$， $W_i^Q$， $W_i^K$， $W_i^V$表示参数矩阵。在自注意机制子层后，完全连接子层获取自注意的输出，表示如下：

$FFN\left(X^l\right)=\mathrm{Re}LU\left(E_{ATT}^l{W}_1+b_1\right)W_2+b_2$ (4)

其中， $W_1$， $W_2$， $b_1$和 $b_2$表示可训练参数。

在获取开发需求特征 $ve{c}_a$后，接着使用DNN层，进一步利用应用和服务的交互记录，提取应用和服务之间的非线性关系。这个过程可以表示为：

$v{f}_a=w_i\left(ve{c}_a\right)+b_i$(5)

在这里，DNN的优点是可以学习不同抽象级别的交互特性。随着层数的增加，每个神经元的感受野相对于前一层变得更大。通过这种方式，它可以提供全局语义(全局交互)和抽象细节，这在浅层和线性操作中很难做到。

最后，将学习到的向量 $v{f}_a$ 输入到sigmoid函数中，在这里，加入了多任务学习。作为一种归纳转移方法，多任务学习可以充分利用多个相关任务的训练信号中隐含的特定领域信息，从而可以减少过拟合风险。同时，多任务学习有助于模型关注最基本的特征并提高其泛化能力。最后，多任务学习中的辅助任务所提供的额外信息也有助于学习特征之间的相关性或不相关性，从而帮助模型更好地理解数据。最后输出为 ${\hat{y}}_c$、 ${\hat{y}}_{ac}$、 ${\hat{y}}_{sc}$。 ${\hat{y}}_c$表示表示下一个服务被推荐的概率， ${\hat{y}}_{ac}$表示应用 $a$属于某个类别的概率， ${\hat{y}}_{sc}$表示服务 $s$属于某个类别的概率。

${\hat{y}}_c=\text{sigmoid}\left(W_{c}v{f}_a+b_c\right)$

${\hat{y}}_{ac}=\text{sigmoid}\left(W_{ac}v{f}_a+b_{ac}\right)$

${\hat{y}}_{sc}=\text{sigmoid}\left(W_{sc}v{f}_a+b_{sc}\right)$

其中 $W_c$、 $W_{ac}$和 $W_{sc}$是权重矩阵， $b_c$、 $b_{ac}$和 $b_{sc}$是特定任务层中的偏差向量。这里，为了抑制提出的模型的过度拟合，采用了dropout。在这里，设置dropout = 0.2。

2021年3月，从全球最大的在线Web服务注册中心ProgrammableWeb中获取到22,016个服务和6,438个应用程序。原始数据集中清除了任何没有功能描述的应用程序和服务、从未使用过的服务以及包含少于三个组件服务的应用程序。最终的实验数据集包括1,384个服务和6,438个应用程序。数据集的综合统计数据如 表1 所示。使用五重交叉验证技术评估不同的推荐方法。换句话说，数据集被分成了五个部分。每次，一个样本用于测试，另外四个样本用于训练。然后对五次的结果求平均值，并将平均值作为最终的结果。

使用Precision、Recall、F1进行性能评估，定义如下公式：

$\text{Precision}@k=\frac{1}{n}\frac{\left|to{p}_a\left(k\right)\cap tes{t}_a\right|}{k}$

$\text{Recall}@k=\frac{1}{n}\frac{\left|to{p}_a\left(k\right)\cap tes{t}_a\right|}{\left|tes{t}_a\right|}$

$\text{F1}@k=\frac{\text{Precision}@k\times \text{Recall}@k}{\text{Precision}@k+\text{Recall}@k}$

在数据挖掘中，通常将训练集中的数据划分为正样本和负样本，在具体的例子中，正样本是指某应用程序调用的服务，负样本表示是某应用程序没有调用过的服务。 $\text{Precision}@k$预测为正样本中，被实际为正样本的比例。如公式(9)所示，其中 $to{p}_a\left(k\right)$推荐给应用程序 $a$ 的前 $k$个服务，而 $tes{t}_a$测试集中应用程序 $a$实际调用的服务。 $\text{Recall}@k$实际为正样本中，预测为正样本的比例。 $\text{F1}$是 $\text{Precision}$， $\text{Recall}$和平均数，是一个综合指标，可以更全面地反映服务推荐的性能。通常情况下， $\text{F1}$越高，代表服务推荐的性能越好。

Word2Vec [13] ：Word2Vec方法首先使用Word2Vec工具对开发需求的文本描述特征进行提取。然后基于提取的特征输入到DNN模型中计算应用对于各个服务的偏好。

Doc2Vec [14] ：Doc2Vec方法首先使用Doc2Vec工具对开发需求的文本描述特征进行提取。然后基于提取的特征输入到DNN模型中计算应用对于各个服务的偏好。

图3 显示了不同方法在精确率、召回率、F1值方面的性能比较。由于应用程序服务调用记录的密度很低，服务推荐的准确性等指标总体表现不高。从图中可知，Word2Vec、Doc2Vec等方法无论在精确率还是在召回率等指标上来看，其表现都低于我们所提出的方法。证明了相对于传统的特征提取方法，Transformer方法在文本特征提取方面显示出了优势。与次优方法相比，SRT在 $\text{Precision}@1$上提高了15.2%，在 $\text{Recall}@1$上提高了15.1%，在 $\text{F1}@1$上提高了15.0%。