导语
- 会议:ICONIP 2021
- 链接:arxiv.org/abs/2106.09…
1 简介
预训练语言模型在自然语言处理中发挥着重要作用,特别是对于问答系统。大型预训练模型(如GPT、BERT和XLNet)与传统的词嵌入方法不同,因为它们从大量的文本语料库中获得上下文化的词向量表示。这些预训练模型可以在多个下游NLP任务上显著提高最先进的性能。公开可用的知识图数据集(如DBpedia、Wikidata和Yago)为自然语言关系任务提供了有价值的结构化知识来源。
在SPARQL-NL生成任务中,需要开发预训练语言模型,以理解知识库和自由格式文本中的SPARQL模式结构。作者提出了SPBERT,这是一种使用公共词汇表的SPARQL查询语言的预训练模型。该模型使用标准屏蔽语言建模来训练,同时使用word structural objective来展示SPARQL模式的底层实体结构。作者在大型SPARQL查询语料库上训练SPBERT,并在回答词汇生成主题中的六个流行数据集上进行微调和评估,证明了该模型在回答词汇生成主题中的有效性。
2 相关工作
略
3 SPBERT
3.1 预训练数据
本文利用了2015年10月到2016年4月的有效DBpedia查询日志。并设计了一个启发式的pipeline方法来过滤其中的重复项、任意变量名以及前缀和注释等不必要的组件。最终获得了大约680万次查询。一个SPARQL查询示例如表1所示。
3.2 输入表示
SPBERT的输入是一个编码的SPARQL查询的token序列,遵循BERT中使用的输入表示样式。每个输入序列都需要一个特殊的分类标记[CLS]作为第一个token,以及一个特殊的序列结束标记[SEP]。[CLS] token包含整个输入句子的代表性信息,而[SEP]用于分隔输入的不同句子。
3.3 模型架构
SPBERT使用与BERT[2]相同的架构,基于多层双向变压器。BERT模型在两个辅助任务上进行训练:masked language modeling and next sentence prediction。由于我们的训练语料库只包含独立的SPARQL查询,我们将下一个句子预测替换为word structural objective。图1中说明了如何组合这两个任务。
Task #1: Masked Language Modeling (MLM)
与BERT的MLM类似,使用15%的概率随机用[MASK]遮盖token;
Task #2: Word Structural Objective (WSO)
这个目标通过从未遮盖的token中随机选择n-gram,然后排列元素来破坏单词的正确顺序。该模型必须预测标记的原始顺序以纠正句子。
3.4-3.5 预训练设置和Fine-tune设置
这两个小节主要介绍了一些超参数的设置,感兴趣的读者可以参考原文。
4 实验
作者使用的数据集如下表所示:
方法层面主要采用了三种类型的方法:
- 基于rnn的模型
- 基于cnn的模型
- Transformer模型
主要的实验结果如下:
表格中,作者区分了从头开始训练SPBERT(S)或使用BERT (B)的参数进行初始化的不同设定。
5 总结
本文介绍了SPBERT,它是SPARQL查询语言的第一个结构化预训练模型。作者进行了大量的实验来研究SPBERT在端到端KBQA系统的两个基本任务上的有效性。SPBERT在SPARQL查询构造的多个数据集上获得了竞争结果。实验结果表明,利用在大规模语料库上学习到的权值,在SPARQL查询构建和应答词化生成方面优于Baseline方法。