Knowledge Graph Embedding Based on Entity-Agnostic Representation Learning
In order to solve the problem of inefficient parameter storage caused by Knowledge Graph Embedding (KGE), this study proposes an innovative entity-agnostic representation learning method. Traditional knowledge graph embedding techniques map each element (covering entities and relations) in the knowledge graph to a continuous vector space by assigning specific embeddings (i.e. vectorized representations). However, this approach leads to a linear growth trend of embedding parameters as the size of the knowledge graph increases. On this basis, we propose a model called Entity-Agnostic Representation Learning (EARL). The model learns the embedding of only a small subset of entities, which are known as reserved entities. To obtain embeddings for the full set of entities, we skillfully combine information from relationships, K-nearest neighbor preserved entities, and multi-hop neighbors to encode the unique characteristics of these retained entities. By learning a generic and entity-agnostic encoder, we efficiently translate these features into entity embeddings. Compared with the traditional knowledge graph embedding technology, this innovative method enables the proposed EARL model to have fewer parameters while maintaining high efficiency, so as to show higher staticity. The experimental results fully verify the excellent performance of EARL in the link prediction task, and show significant advantages in parameter efficiency, which further highlights its effectiveness in reducing the use of parameters.
Knowledge Graph Embedding
随着大数据时代的到来,知识图谱作为大规模语义知识的有效载体,在人工智能领域中占据了举足轻重的地位
在应对这一挑战的过程中,本研究聚焦于减少参数量和提高模型效率,提出了一种创新的实体不可知表示学习(EARL)方法。与传统方法不同,EARL通过学习一小部分实体的嵌入表示,并结合关系、K近邻以及多跳邻居中的信息,来编码实体的可区分特征,从而显著降低了参数数量。
在详细阐述EARL模型的理论基础、模型架构和实现细节之后,本研究通过实验验证了EARL在链路预测任务上的卓越性能,并与其他KGE方法进行了对比分析。实验结果表明,EARL不仅在参数效率上表现出显著优势,而且保持了优异的性能表现。
这一研究成果不仅丰富了知识图谱嵌入领域的研究方法,也为大规模知识图谱的应用提供了有力的技术支撑。展望未来,我们计划进一步探索EARL模型在关系提取、问答系统和推荐系统等其他任务中的应用,并研究如何优化模型的训练过程,以进一步提升其性能和泛化能力。
知识图谱包含一个实体集
、一个关系集
和一个三元组集T。更准确地说,一个知识图谱表示为
,其中
。基于特定分数函数,传统的知识图谱嵌入方法经常学习嵌入来表示每个实体和关系,以预测缺失的三元组(即链路预测)。本文的目标不是存储所有实体和关系的嵌入,而是设计一个参数较少的模型来编码实体嵌入,与传统的KGE方法相比,获得具有竞争力的性能,使参数更有效。在本文提出的实体不可知表示学习EARL中,只学习一小部分实体的特定嵌入,并将它们称为保留实体
遵循传统的KGE训练方案,作者优化EARL使训练集中的正三元组得分高于抽样的负三元组。在EARL中可以使用许多分数函数。为了展示其通用性,使用代表性方法RotatE
对于损失函数,作者采用广泛使用的自对抗负采样损失
其中,
是固定边界,
是sigmoid函数,
是采样负三元组,n是负三元组的数量。
是这个负三元组的自对抗权重
其中, 是温度系数。
FB15k-237实验结果:
FB15K-237 |
WN18RR |
|||||||||
Dim |
#P(M) |
MRR |
Hits@10 |
Effi |
Dim |
#P(M) |
MRR |
Hits@10 |
Effi |
|
RotatE |
1000 |
29.3 |
0.336 |
0.532 |
0.011 |
500 |
40.6 |
0.508 |
0.612 |
0.013 |
RotatE |
100 |
2.9 |
0.296 |
0.473 |
0.102 |
50 |
4.1 |
0.411 |
0.429 |
0.100 |
NodePiece + RotatE* |
100 |
3.2 |
0.256 |
0.420 |
0.080 |
100 |
4.4 |
0.403 |
0.515 |
0.092 |
EARL + RotatE |
150 |
1.8 |
0.310 |
0.501 |
0.172 |
200 |
3.8 |
0.440 |
0.527 |
0.116 |
w/o Reserved Entity |
150 |
1.1 |
0.306 |
0.492 |
0.278 |
200 |
1.7 |
0.347 |
0.461 |
0.204 |
w/o ConRel |
150 |
1.2 |
0.309 |
0.501 |
0.257 |
200 |
3.0 |
0.432 |
0.520 |
0.144 |
w/o kNResEnt |
150 |
1.6 |
0.301 |
0.488 |
0.188 |
200 |
3.3 |
0.409 |
0.498 |
0.124 |
w/o ConRel + kNResEnt |
150 |
1.2 |
0.302 |
0.486 |
0.251 |
200 |
3.0 |
0.350 |
0.479 |
0.117 |
w/o MulHop |
150 |
1.1 |
0.250 |
0.414 |
0.227 |
200 |
2.4 |
0.048 |
0.084 |
0.020 |
CoDEx-L |
YAGO3-10 |
|||||||||
Dim |
#P(M) |
MRR |
Hits@10 |
Effi |
Dim |
#P(M) |
MRR |
Hits@10 |
Effi |
|
RotatE* |
500 |
78.0 |
0.258 |
0.387 |
0.003 |
500 |
123.2 |
0.495 |
0.670 |
0.004 |
RotatE* |
25 |
3.8 |
0.196 |
0.322 |
0.052 |
20 |
4.8 |
0.121 |
0.262 |
0.025 |
NodePiece + RotatE* |
100 |
3.6 |
0.190 |
0.313 |
0.053 |
100 |
4.1 |
0.247 |
0.488 |
0.060 |
EARL + RotatE |
100 |
2.1 |
0.238 |
0.390 |
0.113 |
100 |
3.0 |
0.302 |
0.498 |
0.101 |
w/o Reserved Entity |
100 |
0.5 |
0.203 |
0.337 |
0.406 |
100 |
0.4 |
0.119 |
0.226 |
0.296 |
w/o ConRel |
100 |
1.9 |
0.237 |
0.384 |
0.124 |
100 |
2.8 |
0.322 |
0.522 |
0.115 |
w/o kNResEnt |
100 |
2.0 |
0.232 |
0.374 |
0.116 |
100 |
2.9 |
0.249 |
0.429 |
0.086 |
w/o ConRel +kNResEnt |
100 |
1.9 |
0.234 |
0.375 |
0.123 |
100 |
2.8 |
0.286 |
0.487 |
0.102 |
w/o MulHop |
100 |
1.8 |
0.095 |
0.174 |
0.053 |
100 |
2.7 |
0.033 |
0.048 |
0.012 |
从知识图谱中提取三元组关系,将其转化为节点和边,并定义它们的表示向量;选择适当的模型架构和超参数。在实体不可知表示学习的知识图谱嵌入学习中,通常使用无监督学习方法来训练模型,需要定义损失函数和优化算法;使用训练数据集来训练嵌入模型。使用随机游走策略生成节点和关系的序列,并使用这些序列来训练模型。在每个epoch中计算损失函数并更新模型参数;使用测试数据集来评估模型性能,通常采用链接预测或三元组分类等任务来评估模型的准确性和泛化能力;根据评估结果调整模型的超参数,例如学习率、批次大小、迭代次数等,以优化模型的性能;选择其他知识图谱嵌入方法作为对比模型,并使用相同的评估指标来比较不同模型的性能;根据实验结果进行分析,讨论不同方法的优缺点,并解释实验结果的原因;将训练好的模型应用到实际场景中,例如问答系统、推荐系统等,以验证其有效性和实用性。
*通讯作者。