导语

• 会议：ICONIP 2021
• 链接：arxiv.org/abs/2106.09…

1 简介

预训练语言模型在自然语言处理中发挥着重要作用，特别是对于问答系统。大型预训练模型（如GPT、BERT和XLNet）与传统的词嵌入方法不同，因为它们从大量的文本语料库中获得上下文化的词向量表示。这些预训练模型可以在多个下游NLP任务上显著提高最先进的性能。公开可用的知识图数据集（如DBpedia、Wikidata和Yago）为自然语言关系任务提供了有价值的结构化知识来源。

在SPARQL-NL生成任务中，需要开发预训练语言模型，以理解知识库和自由格式文本中的SPARQL模式结构。作者提出了SPBERT，这是一种使用公共词汇表的SPARQL查询语言的预训练模型。该模型使用标准屏蔽语言建模来训练，同时使用word structural objective来展示SPARQL模式的底层实体结构。作者在大型SPARQL查询语料库上训练SPBERT，并在回答词汇生成主题中的六个流行数据集上进行微调和评估，证明了该模型在回答词汇生成主题中的有效性。

2 相关工作

略

3 SPBERT

3.1 预训练数据

本文利用了2015年10月到2016年4月的有效DBpedia查询日志。并设计了一个启发式的pipeline方法来过滤其中的重复项、任意变量名以及前缀和注释等不必要的组件。最终获得了大约680万次查询。一个SPARQL查询示例如表1所示。

3.2 输入表示

SPBERT的输入是一个编码的SPARQL查询的token序列，遵循BERT中使用的输入表示样式。每个输入序列都需要一个特殊的分类标记[CLS]作为第一个token，以及一个特殊的序列结束标记[SEP]。[CLS] token包含整个输入句子的代表性信息，而[SEP]用于分隔输入的不同句子。

3.3 模型架构

SPBERT使用与BERT[2]相同的架构，基于多层双向变压器。BERT模型在两个辅助任务上进行训练:masked language modeling and next sentence prediction。由于我们的训练语料库只包含独立的SPARQL查询，我们将下一个句子预测替换为word structural objective。图1中说明了如何组合这两个任务。

Task #1: Masked Language Modeling (MLM)

与BERT的MLM类似，使用15%的概率随机用[MASK]遮盖token；

Task #2: Word Structural Objective (WSO)

这个目标通过从未遮盖的token中随机选择n-gram，然后排列元素来破坏单词的正确顺序。该模型必须预测标记的原始顺序以纠正句子。

3.4-3.5 预训练设置和Fine-tune设置

这两个小节主要介绍了一些超参数的设置，感兴趣的读者可以参考原文。

4 实验

作者使用的数据集如下表所示：

方法层面主要采用了三种类型的方法：

• 基于rnn的模型
• 基于cnn的模型
• Transformer模型

主要的实验结果如下：

表格中，作者区分了从头开始训练SPBERT(S)或使用BERT (B)的参数进行初始化的不同设定。

5 总结

本文介绍了SPBERT，它是SPARQL查询语言的第一个结构化预训练模型。作者进行了大量的实验来研究SPBERT在端到端KBQA系统的两个基本任务上的有效性。SPBERT在SPARQL查询构造的多个数据集上获得了竞争结果。实验结果表明，利用在大规模语料库上学习到的权值，在SPARQL查询构建和应答词化生成方面优于Baseline方法。