导语
本文介绍了Text-to-SPARQL的反向任务，SPARQL-to-Text的一些最近进展。
- 会议：AACL 2022
- 链接：aclanthology.org/2022.aacl-m…
1 简介
KBQA任务旨在将用户输入的问题映射到可以在知识图(KG)中查询的正式表示。然而，对形式化查询的语言化（SPARQL-to-Text）研究较少。然而，有趣的应用程序可以从SPARQL-to-Text的问题生成中衍生出来:例如，生成辅导系统，用户可以在其中进行主题练习，或者为QA或对话系统模拟用户。这就是本文研究SPARQL-to-text问题生成的原因，并特别考虑在会话上下文中生成问题。
本文的目的是研究迄今为止使用文献中可用的数据集和预训练模型在SPARQL-to-text问题生成方面可以取得的成就。在这方面，贡献如下:
-
发布了5个基于知识的QA语料库(包括2个会话语料库)，为SPARQL-to-text任务做好了准备:其中4个语料库来自现有语料库，最后一个语料库是一个新的挑战集，其中包含未知的查询类型和域。
-
BART和T5的不同微调方法的比较，使用不同的输入特征和训练数据。因此，本文表明，为模型提供预期的答案和会话上下文是有帮助的。
3.关于不同查询类型的模型性能的深入分析。这突出了当前基于转换器的方法的局限性，特别是在处理罕见类型的查询以及生成共引用和省略号方面。
- 通过测验对生成的问题的可理解性和相关性进行评估，参与者必须根据一段简短的段落回答后续问题。结果表明，这些模型离人类的问题还很遥远，但它们可以用于某些类型的查询。
2 相关工作
略
3 数据集
本文使用了文献中的4个KBQA语料库:SimpleQuestions、LC-QuAD 2.0、ParaQA和CSQA。它们有不同的特征且不重叠。此外，引入一个新的语料库作为挑战集，即没有训练数据可用于它。该语料库是基于WebNLG v.3.0语料库生成的，被称为WebNLG-QA。
表1和表2给出了5个SPARQL-to-text数据集的一般统计信息和示例。
为了测试待训练模型的泛化性，本文提出了一个新的会话QA数据集WebNLG-QA。该语料库是基于WebNLG v.3.0 生成的，该语料库将小KG(1-7个三元组)与几种可能的语言表达(转录KG信息的短文本)相关联。这个语料库的构建算法如图所示。
4 模型
作者主要使用了T5和BART作为基础的SPARQL-to-text的Baseline模型。
5-6 实验与分析
主要的实验结果如上图所示，作者同时进行了一些分析，要点如下：
- 查询类型的健壮性：表5展示了WebNLG-QA中所有类别和后续查询类型的METEOR和BERTScore结果，使用对所有合并语料库进行微调的T5模型，并具有预期的答案和会话上下文。
- 在实际应用上的评估：使用人工对生成的自然语言进行评分（表6）。
7 总结
本文深入研究了从SPARQL查询生成问题的问题，特别是为了能够将这些问题集成到基于会话知识的应用程序中，例如QA系统或面向任务的对话。并提出一个新的挑战集(WebNLG-QA)，以及为突出SPARQL-to-text任务的流行预训练模型BART和T5的局限性而进行的多个实验。这些实验表明，尽管生成的问题的语言质量很好，但该任务仅在明确和频繁的情况下才真正有效，通常与训练中看到的一致。
